Aine eesmärk on, analüüsides e-riigis tekkivat suurt andmemahtu, hinnata suurandmete tehnoloogiate erinevaid võimalusi.

The aim of this module is to evaluate the possibilities of Big Data technologies in the analysis of large volume of data, generated in e-government.

Õppeaine läbinud üliõpilane:
- formuleerib suurandmete fenomeni ja eristab peamisi suurandmete ökosüsteemi komponente;
- on omandanud töövõtted Sparki (suurandmete andmeanalüütika raamistik) mitmekihilise keskkonna kasutamiseks;
- analüüsib Spark SQL-ga struktureeritud andmeid;
- kavandab suurandmete puhul prognoosiva analüüsi kasutamist reaalses elus: kasutusjuhtumid e-valitsemise perspektiivist.

After completing this course the student:
- formulates the Big Data phenomenon and distinguishes main Big Data ecosystem components;
- has acquired techniques the multi-layer ecosystem of Spark;
- analyses structured data with Spark SQL;
- plans the use of predictive analytics on big data in real-life use cases from the e-governance perspective.

See aine õpetab, kuidas läbi andmekogudesse kogutud suurte ja heterogeensete andmevormingute salvestamise ning töötluse on võimalik arendada e-riigi proaktiivseid teenuseid. Infosüsteemi integreeritud töötlemisahelate loomiseks ja seadistamiseks õpitakse kasutama suurandmete raamistikku Spark.

This lecture will teach you how to collect, store, and process large and heterogeneous data formats in data lakes to develop e-government proactive services. You will use the big data framework Spark to set up processing chains integrated into the Information System.

1. 60% - testid/kodutööd/projektid 16 loengunädala vältel
2. 40% - suur projekt koos esitlusega

1. 60% - tests/homeworks/projects over the 16 teaching weeks.
2. 40% - a big project with a presentation

-

-

1. Sreeram Nudurupati. Essential PySpark for Scalable Data Analytics. 2021 Packt Publishing
2. Holden Karau. High-speed distributed computing made easy with Spark, 2013 Packt Publishing

-