Arhiva za ‘sistem za obradu streama’ tag
Twiter učinio Storm projekt dostupan kao open source
U avgustu je Twitter stekao BackType, kompaniju koja se bavi analitikom društvenih medija. Jedna od stvari koje je Twitter dobio ti sticanjem je Storm, sistem za obradu u realnom vremenu. Twitter je tada najavio da će Storm biti open-source i sada je to i uradio, Storm je na Github pod Eclipse javnom licencom (EPL).
Šta je Storm?
Storm je distribuiran, pouzdan i otporan na greške sistem za obradu stream-a. Njegova upotreba je toliko široka da Twitter čak razmatra da ga koristi koao osnovni sistem za obradu podataka. Prema Storm dokumentaciji, obrada podataka je doživela revoluciju u protekloj deceniji, ali sistemi kao Hadoop nisu u realnom vremenu. Servisi kao što su Twitter trebaju sisteme za obradu podataka u realnom vremenu.
Storm se može upotrebljavati za obradu stream-a (poput obrade Tweets), kontinuirano izračunavanje i distribuirana obrada u realnom vremenu. U slučaju Twitter-a, Storm se koristi da radite stvari kao što su izračunavanje kretanja korisnika i dosega tweet-a (doseg je jedinstveni broj ljudi koji će videti tweet). Da bi to izračunali potrebno je doći do svih ljudi koji su tweeted URL, sve njihove sledbenike a zatim izračunati taj jedinstveni broj ljudi koji će videti tweet. To je intenzivno izračunavanja koja potencijalno obuhvata hiljade poziva baze podataka i evidencij desetine miliona sledbenika.
Znači, Storm sistem se bavi izračunavanjem u realnom vremenu, skalabilan je i garantuje da nema gubitka podataka. Rešenje koje bi moglo da zanima mnoge developere.