Perkhidmatan

Mekanisme pembersihan data Spark Streaming
(I) DStream dan RDD
Seperti yang kita ketahui, pengiraan Spark Streaming adalah berdasarkan Spark Core, dan teras Spark Core ialah RDD, jadi Spark Streaming mesti berkaitan dengan RDD juga.Walau bagaimanapun, Spark Streaming tidak membenarkan pengguna menggunakan RDD secara langsung, tetapi mengabstrak satu set konsep DStream, DStream dan RDD adalah hubungan inklusif, anda boleh memahaminya sebagai corak hiasan di Jawa, iaitu, DStream ialah peningkatan RDD, tetapi tingkah laku adalah serupa dengan RDD.
DStream dan RDD kedua-duanya mempunyai beberapa syarat.
(1) mempunyai tindakan tranformasi yang serupa, seperti peta, reduceByKey, dsb., tetapi juga beberapa unik, seperti Window, mapWithStated, dsb.
(2) semua mempunyai tindakan Tindakan, seperti foreachRDD, count, dll.
Model pengaturcaraan adalah konsisten.
(B) Pengenalan DStream dalam Spark Streaming
DStream mengandungi beberapa kelas.
(1) Kelas sumber data, seperti InputDStream, khusus sebagai DirectKafkaInputStream, dsb.
(2) Kelas penukaran, biasanya MappedDStream, ShuffledDStream
(3) kelas keluaran, biasanya seperti ForEachDStream
Daripada perkara di atas, data dari awal (input) hingga akhir (output) dilakukan oleh sistem DStream, yang bermaksud bahawa pengguna biasanya tidak boleh terus menjana dan memanipulasi RDD, yang bermaksud bahawa DStream mempunyai peluang dan kewajipan untuk menjadi bertanggungjawab untuk kitaran hayat RDD.
Dengan kata lain, Spark Streaming mempunyaipembersihan automatikfungsi.
(iii) Proses penjanaan RDD dalam Spark Streaming
Aliran hayat RDD dalam Spark Streaming adalah kasar seperti berikut.
(1) Dalam InputDStream, data yang diterima diubah menjadi RDD, seperti DirectKafkaInputStream, yang menjana KafkaRDD.
(2) kemudian melalui MappedDStream dan penukaran data lain, kali ini secara langsung dipanggil RDD sepadan dengan kaedah peta untuk penukaran
(3) Dalam operasi kelas output, hanya apabila RDD terdedah, anda boleh membenarkan pengguna melakukan storan yang sepadan, pengiraan lain dan operasi lain.