Õppeaine põhieesmärk on tutvustada kõige olulisemaid murrangulisi infotehnoloogiaid suurandmete käitlemiseks, salvestamiseks ja reaalajalähedaseks analüüsiks platvormi Spark Streaming abil, mis on uus ja kiiresti arenev arendusplatvorm andmete reaalajalähedaseks analüüsiks.
Kursus õpetab, kuidas koguda, salvestada ja töödelda suuri ning heterogeenseid andmeid, kasutades suurandmete platvormi Spark selleks, et luua infosüsteemidesse integreeritud andmete töötlusahelaid. Kuna andmed võivad olla salvestatud kettale või saabuda voogesitusena, kasutab üliõpilane masinõppe vahendeid, et luua oma mudeleid ja uusi andmeid hõlpsalt klassifitseerida.

The key aim of this course is to familiarize the students with the most important groundbreaking information technologies used in manipulating, storing, and near-real-time analyzing big data through Spark Streaming, which is a new and quickly developing platform for near-real-time data analysis.
This course will teach you how to collect, store, and process large and heterogeneous data using the big data platform Spark to set up data processing chains integrated into information systems. Since data can be stored on a disk or arrive in a stream, you will apply machine learning models to build your models and classify new data easily.

Õppeaine läbinud üliõpilane:
- saab aru suurandmete olemusest ja kasutab peamisi suurandmete käitlemise tööriistu;
- kasutab mitmetasemelist platvormi Spark;
- paigaldab Sparki klastrit (sõlmede paigaldamine ja seadistamine, MESOS-i seadistamine);
- esitab struktureeritud andmeid andmebaasi Spark SQL abil;
- töötleb ja analüüsib andmeid käigupealt;
- on võimelised kasutama tegeliku elu juhtumitel põhinevatel suurandmetel ennustavat analüüsi.

After completing this course the student:
- understands the essence of big data and uses main big data handling tools;
- masters the multi-layer platform of Spark;
- installs a Spark cluster (installing and configuring nodes, configuring MESOS);
- presents structured data with the Spark SQL database;
- processes and analyses data on-the-fly;
- is able to use predictive analytics on big data in real-life use cases.

Kursusel kasutatakse programmeerimiskeelt Scala. Sellele vaatamata võib üliõpilane kasutada ka mingit muud programmeerimiskeelt, mida ta kõige paremini valdab, nt Java või Python. Kursus koosneb järgmistest osadest:

1. Sissejuhatus suurandmetesse
2. Core Spark – RDD – andmete muundamised ja tegevused
3. Spark SQL ja andmete raamistikud
4. Voogandmete analüüs kasutades platvorme Kafka ja Spark Streaming
5. SmarkML – sissejuhatus masinõppe tööriistadesse

The programming language used in the course is Scala. Nevertheless, the student can use the language that he/she masters the most, such as Java or Python. The course consists of the following parts:

1. Big data introduction
2. Core Spark – RDD – transformations and actions
3. Spark SQL and data frames
4. Streaming analytics using Kafka and Spark Streaming
5. SparkML – Introduction to machine learning tools

eksam

examination

-

-

1. H. Karau et al.. Learning Spark, O’reilly, 2016
2. Z. Nabi, Pro Spark Streaming: The Zen of Real-Time Analytics Using Apache Spark, 2017, DOI 10.1007/978-1-4842-1479-4

Course web page: https://ained.ttu.ee/course/view.php?id=249

-

not specified