Arhiva za ‘projekt’ tag
Twiter učinio Storm projekt dostupan kao open source
U avgustu je Twitter stekao BackType, kompaniju koja se bavi analitikom društvenih medija. Jedna od stvari koje je Twitter dobio ti sticanjem je Storm, sistem za obradu u realnom vremenu. Twitter je tada najavio da će Storm biti open-source i sada je to i uradio, Storm je na Github pod Eclipse javnom licencom (EPL).
Šta je Storm?
Storm je distribuiran, pouzdan i otporan na greške sistem za obradu stream-a. Njegova upotreba je toliko široka da Twitter čak razmatra da ga koristi koao osnovni sistem za obradu podataka. Prema Storm dokumentaciji, obrada podataka je doživela revoluciju u protekloj deceniji, ali sistemi kao Hadoop nisu u realnom vremenu. Servisi kao što su Twitter trebaju sisteme za obradu podataka u realnom vremenu.
Storm se može upotrebljavati za obradu stream-a (poput obrade Tweets), kontinuirano izračunavanje i distribuirana obrada u realnom vremenu. U slučaju Twitter-a, Storm se koristi da radite stvari kao što su izračunavanje kretanja korisnika i dosega tweet-a (doseg je jedinstveni broj ljudi koji će videti tweet). Da bi to izračunali potrebno je doći do svih ljudi koji su tweeted URL, sve njihove sledbenike a zatim izračunati taj jedinstveni broj ljudi koji će videti tweet. To je intenzivno izračunavanja koja potencijalno obuhvata hiljade poziva baze podataka i evidencij desetine miliona sledbenika.
Znači, Storm sistem se bavi izračunavanjem u realnom vremenu, skalabilan je i garantuje da nema gubitka podataka. Rešenje koje bi moglo da zanima mnoge developere.
Budućnost kompanije Microsoft u projektu Probase
Probase je projekt Microsoft Research-a opisan kao “tekući projekt koji je usmjeren na stjecanje znanja i posluživanje znanja”. Njegov primarni cilj je da se “omogući strojevima da razumiju ljudsko ponašanje i ljudsku komunikaciju.” Može se uporediti sa Cyc, DBpedia ili Freebase u smislu da pokušava sastaviti masivnu kolekciju strukturiranih podataka koji se mogu koristiti za input aplikacija umjetne inteligencije.
Iza projekta Probase stoji nova graph baza podataka pod nazivom Trinity, koja je također projekt Microsoft Research-a. Ni jedan ni drugi projekt nisu još uvijek dostupni za javnosti.
Ovi a i ostali projekti bacaju svijetlo na Microsoft-ove velike ambicije u pravcu pretraživanja i podataka.
Probase
Na sajtu projekta se tvrdi da je Probase bogatija od ostalih ontološko/taksonomskih baza znanja poput gore navedenih, jer strukturira podatake u skladu sa tri dimenzije: koncept, podaci i odnos dimenzija. Njegov pojam koncepta sadrži oko 2,7 milijuna koncepata. Prema Probase sajtu, Freebase sadrži 1450 koncepata DBPedia sadrži 259 i ResearchCyc sadrži oko 120.000. Pogledaj kompletan post »