Gå till sidans huvudinnehåll
Kontakt

Regionbloggen

Lyssna

Vilken teknik ska ett datadrivet labb skapa/använda?

Som jag ser det måste vi ha tekniska lösningar för datahantering och dataförädling. Kanske också för prototyping och presentation/gränssnitt? Datahantering När det gäller datahantering som bör vi kunna hantera öppen data som finns i CKAN (PostgreSQL-databaser och CSV- eller XML-filer), vi bör också (tror jag bygga upp en lösning för stora datamängder så att man […]

Som jag ser det måste vi ha tekniska lösningar för datahantering och dataförädling. Kanske också för prototyping och presentation/gränssnitt?

Datahantering

När det gäller datahantering som bör vi kunna hantera öppen data som finns i CKAN (PostgreSQL-databaser och CSV- eller XML-filer), vi bör också (tror jag bygga upp en lösning för stora datamängder så att man enkelt kan skala upp en Big Data-innovation från labbet till driftmiljö. HDFS verkar vara ett vanlig val i dessa sammanhang. Kanske behövs även SQL-databaser utanför CKAN.

IoT-data kan tydligen lagras mycket kostnadseffektivt hos Amazon. Kanske har Elsys också en lösning på hur detta data lagras? Som jag förstår det kan man vi Apache Spark också lagra IoT-data som då lagras i HDFS om jag fatta rätt.

Dataförädling

Jupyter är ett webbaserat anteckningblock där man kan blanda text och kod. Verkar fungera bra när man ska ta fram och testa kod i Python, R och Scala. Genom att man dokumenterar och testar i samma verktyg blir det lätt att dokumentera hur man tänker och sedan koppla den kod som realiserar tankarna till dessa texter. Apache Spark tillsammans med olika programbibliotek för statistisk bearbetning, maskininlärning etc som finns för respektive språk kan användas för dataförädling t ex i form av dataanalys av stora datamängder.

När det gäller prototypingverktyg och presentation/gränssnitt har jag inga idéer här och nu.

En annan intressant sak är att LTU:s projekt sense Smart Region ska ta fram en teknisk plattform för IoT som bygger på FIWARE. Här ingår både datahanterings- och dataförädlingsdelar som jag förstått det. Ska tydligen finnas framme till våren. Man ska även sätta upp Lora-gateways i Skellefteå. Här kan man tänka sig att labbet skulle använda sig av denna plattform på något vis? Men kanske finns det tekniska och/eller byråkratiska problem?

Vad tycker du? Finns det bättre idéer? Finns det faror i det jag beskriver ovan?

Skriv ut

9 december, 2016 | Thomas Kvist

Kommentarer