Online Tržište

Kao nadopuna softvera za podršku Cloud implementacije, VMware je kreirao paket za pokretanje Postgres baze podataka u virtualiziranoj okoline.

Postgres će biti prva od nekoliko baza podataka koje tvrtka planira upakovati u ovaj format, a sve će biti ponuđeni pod nazivom VMware vFabric Data Director, priopćio je David McJannet, direktor Cloud i aplikacijskih usluga u VMware.

Mnoga poslovanja imaju stotine velikih baza podataka koje kojima je teško upravljati a i problematične su po pitanju sigurnosti. Koristeći virtualni kontejner za stvaranje samo jednog kontejnera, možete postići veoma mnogo u smanjenju širenja baze podataka,

navodi David McJannet.

vFabric Postgres se sastoji od kopije open source baze podataka Postgres smještene u VMware virtualnoj mašini. Sa ovim softverom, administratori mogu konfigurirati baze podataka na standardizirani način, te ih ponuditi kao predloške za programere i korisnike. Ovaj paket će također smanjiti količinu rada potrebnog za pripremu baze podataka za korištenje u Vmware Cloud okruženju.

vFabric Postgres će biti dostupan putem tvrtkine Cloud Foundry Cloud usluge, kao i u obliku samostalnog softvera.

Novi proizvod je jedan od brojnih najava koje je tvrtka objavila tokom scoje VMworld konferencije. Tvrtka je također pokrenula uslugu, pod nazivom Global Connect i portal pod nazivom vCloud.vmware.com, koji su dizajnirani za korisnike koji se žele povezati sa VMware Cloud uslugama trećih strana.

Probase je projekt Microsoft Research-a opisan kao “tekući projekt koji je usmjeren na stjecanje znanja i posluživanje znanja”. Njegov primarni cilj je da se “omogući strojevima da razumiju ljudsko ponašanje i ljudsku komunikaciju.” Može se uporediti sa Cyc, DBpedia ili Freebase u smislu da pokušava sastaviti masivnu kolekciju strukturiranih podataka koji se mogu koristiti za input aplikacija umjetne inteligencije.

Iza projekta Probase stoji nova graph baza podataka pod nazivom Trinity, koja je također projekt Microsoft Research-a. Ni jedan ni drugi projekt nisu još uvijek dostupni za javnosti.

Ovi a i ostali projekti bacaju svijetlo na Microsoft-ove velike ambicije u pravcu pretraživanja i podataka.

Probase

Na sajtu projekta se tvrdi da je Probase bogatija od ostalih ontološko/taksonomskih baza znanja poput gore navedenih, jer strukturira podatake u skladu sa tri dimenzije: koncept, podaci i odnos dimenzija. Njegov pojam koncepta sadrži oko 2,7 milijuna koncepata. Prema Probase sajtu, Freebase sadrži 1450 koncepata DBPedia sadrži 259 i ResearchCyc sadrži oko 120.000. Pogledaj kompletan post »

Google je kupio tvrtku Metaweb, osnovanu 2005 godine čija baza podataka sadrži podatke raznih stvari svijeta, njihova svojstva, te njihove međusobne odnose.
Google navodi kako će im ova kupovina pomoći u "Poboljšanju Pretrage i učiniti web bogatijim i sa više smisla za svakoga."

Metaweb je izgradila svoju Freebase, otvorenu bazu podataka sa kolekcijom od preko 12 milijuna stvari iz svijeta zabave (filmovi, knjige, TV emisije),lokacija, slavnih osoba, tvrtki i ostalih stvari iz "stvarnog svijeta". Google kaže da mu je plan očuvanje i daljnje razvijanje baze podataka u nadi da će privoliti druge tvrtke da koriste i doprinose podacima.

Google se također nada da će iskoristiti snagu Metaweb-a kako bi poboljšao svoje napore sa značajkama poput "rich snippets" i "search answers", od kojih oba imaju zadatak da daju pametnije i neposrednije rezultate na određene upite.

Za uvid u ono što je Metaweb radio, pogledajte video ispod.

Twitter neće koristi sistem baze podataka Cassandra za skladištenje tweet-ova nego će ga koristiti za analizu u realnom vremenu. Već duže vreme se verovalo da će analiza biti dio Twitter-ove strategije monetarizacije ali sve do pre dva dana to je bila samo ideja koja ima potencijal. 

Ryan King iz Twitter-a navodi:

Naši analitički, operacijski i infrastrukturni timovi rade na sistemu koji koristi Cassandra-u za analitiku u realnom vremenu, za internu i eksternu upotrebu. Ovo jeste promena u strategiji. Nastavićemo da koristimo postojeći Mysql za skladištenje podataka jer verujemo da još nije došlo vreme da učinimo veliku migraciju na nove tehnologije,

Međutim, najveća vest jeste pomak Twitter-a sa prvobitne pozicije da Cassandra-u koristi za skladištenje tweet-ova.

Kako kažu malo bolji poznavaoci prilika, naravno da nije pravo vreme za migracije, jer se Twitter suočava sa prometom koji nije video nikada pre (delimično zahvaljujući Svetskom Nogometnom Prvenstvu koji se se srećom po Twitter završava u nedelju) i koji mu pravi ogromne tehničke probleme.

Cassandra je open source Apache projekat za stvaranje "visoko skalabilne druge generacije distribuiranih baza podataka". Sistem će i dalje biti ključni deo mnogih novijih velikih Twitter projekata, kao što su baze podataka za geolociranje, za podatke koji se koriste za tweet-ove i trendove kao i već pomenutu analitiku.

Mi ulažemo u Cassandra-u svaki dan jer očekujemo da će još dugo vremena biti sa nama i naše korišćenje sistema će samo da raste,

zakljućuje Ryan King.

Svi smo mi kao djeca skupljali stvari poput sličica, autića i sl. Trenutno postoje poslovne organizacije širom svijeta sa nevjerojatnom zbirkom stvari a njihov broj se mjeri u trilijunima. U mnogim slučajevima ove zbirke odnosno baze podataka se sastoje od stavki koje koristimo svaki dan. U ovom popisu, pokrivamo top 5 najvećih baza podataka na svijetu:

Kongresna knjižnica (Library of Congress)

Čak ni digitalno doba ne može spriječiti najveću svjetsku knjižnicu da bude na ovom popisu. Library of Congress, ima više od 130 milijuna predmeta od knjiga za kuhanje preko kolonijalnih novina pa sve do postupka vlade SAD-a. Procjenjuje se da bi tekstualni dio Kongresne knjižnice sadržavao 20 terabajta podataka. Kongresna knjižnica se dnevno širi za 10.000 predmeta, a ima blizu 853 kilometara polica.

Ako istražujete neku temu i ne možete naći prave informacije na internetu onda je pravo odredište za vas Kongresna knjižnica. Za istraživanje američke povijesti oko 5 milijuna stvari iz zbirke Kongresne knjižnice se može naći on-line na American Memory.

Evo nekih bitnih brojki Kongresne knjižnice:

• 130 milijuna predmeta (knjige, fotografije, karte, itd.)
• 29 milijuna knjiga
• 10.000 novih stavki koje se dodaju svaki dan
• 853 kilometra polica
• 5 milijuna digitalnih dokumenata
• 20 terabajta tekstualnih podataka

Central Intelligence Agency (CIA)

Središnja obavještajna agencija (CIA) prikuplja i distribuira informacije o ljudima, mjestima i stvarima, tako da ne čudi što je na ovom popisu. Iako se malo zna o ukupnoj veličini CIA-ne baze podataka, sigurno je da agencija ima jako mnogo informacija i o javnom i privatnom sektoru putem terenskog rada i digitalnih upada.

Dijelovi baze CIA-e na raspolaganju su javnosti a obuhvaćaju Freedom of Information Act (FOIA) Elektronsku čitaonicu, World Fact Book i razne druge publikacije povezane sa agencijom. FOIA knjižnica uključuje stotine tisuća službenih (a povremeno i ultra-osjetljivih) dokumenata američke vlade koji su na raspolaganju javnosti u elektronskom obliku. Knjižnica se mjesečno uvećava sa po 100 članaka i sadrži teme od nuklearnog razvoja u Pakistanu do vrsti piva koje su bile na raspolaganju tijekom korejskog rata. World Fact Book ima opće informacije o svakoj državi i teritoriji u svijetu uključujući mape, broj stanovnika, vojnu sposobnost i ostalo.

U brojkama to izgleda ovako:

• 100 FOIA predmeta dodaje se svaki mjesec
• Opsežna statistika o više od 250 zemalja i entiteta
• Nepoznati broj tajnih podataka

Amazon

Amazon je najveća svjetska trgovina koja sadrži opsežnu evidenciju o 59 milijuna svojih aktivnih klijenata, uključujući opće osobne podatke (broj telefona adresu, itd), popis želja i gotovo bilo koju vrstu podataka koju web stranice mogu izvući od svojih korisnika. Amazon čuva više od 250.000 cijelih tekstualnih knjiga koje su na raspolaganju online i omogućuje korisnicima da komentiraju i imaju interakciju na gotovo svakoj web stranici što ćini Amazon jednom od najvećih svjetskih on-line zajednica.

Ovi podaci zajedno sa milijunima stavki inventara koji Amazon prodaje svake godine i milijune stavki u inventaru koje preko Amazona prodaju drugi, čini jednu vrlo veliku bazu podataka. Amazon-ove dvije najveće baze podataka zajedno imaju više od 42 terabajta podataka.

Ali ako mislite da i 42 terabajta podataka nisu nešto previše, u relativnom smislu, 42 terabajta podataka bi bilo jednako 37 trilijuna forum postova.

Amazon brojke:

• 59 milijuna aktivnih korisnika
• Više od 42 terabajta podataka

YouTube
Nakon manje od dvije godine rada YouTube je sakupio najveću videoteku (a nakon toga i jednu od najvećih baza podataka) u svijetu. YouTube trenutno ima bazu korisnika kojoj nudi više od 100 milijuna isječaka dnevno što je više od 60% svih videa koji se gledaju na Internetu.

U kolovozu 2006, Wall Street Journal je projicirao YouTube-ovu bazu podataka na 45 terabajta videa. YouTube u zadnje vrijeme doživljava znatan rast (više od 65.000 novih videa danevno), što znači da se YouTube-ova veličine baze podataka više nego udvostručila u posljednjih 5 mjeseci.

Procjena veličine YouTube-ove baze podataka je posebno teška s obzirom na različite veličine i dužine svakog videa. Međutim, ako bi se bavili procjenama, očekivati je da YouTube-ova baza podataka naraste za čak 20 terabajta podataka sljedećeg mjeseca.

Ako računamo: 65.000 videa dnevno X 30 dana mjesečno = 1.950.000 videa mjesečno, 1 terabajt = 1.048.576 megabajta. Ako pretpostavimo da svaki video ima veličinu od 1MB, YouTube treba da očekuje rasti od 1,86 terabajta sljedećeg mjeseca. Slično tome, ako pretpostavimo da svaki video ima veličinu od 10 MB, onda je za očekivati da će rasti biti18,6 terabajta sljedećeg mjeseca.

YouTube brojke:

• 100 milijuna videa koji se gledaju dnevno
• 65.000 videa dodanih svaki dan
• 60% svih videa koji se gledaju online
• Najmanje 45 terabajta videa

ChoicePoint

Zamislite da morate da pretražite imenik koji sadrži milijarde stranica radi jednog telefonskog broja. Kada zaposleni u ChoicePoint-u žele znati nešto o vama oni moraju učiniti upravo to. Ako bi se ispisala, ChoicePoint-ova baza podataka bi išla do Mjeseca i natrag čak 77 puta.

ChoicePoint je u poslu vezanom za dobivanja informacija o američkoj populaciji, adresama i telefonskim brojevima, evidenciji vožnje, kaznene povijesti, itd., ChoicePoint ima sve.

U 2002 godini ChoicePoint je bio u mogućnosti da pomogne vlastima da riješi slučaj serijskog silovatelja u Philadelphiji i Fort Collins na osnovu popisa 6 potencija
lnih osumnjičenika njihov DNK i osobnih zapisa baze podataka. U 2001 godini ChoicePoint je bio u mogućnosti da identifikuje ostatke žrtava World Trade Center usklađivanjem DNK pronađenih u fragmentima kosti sa informacijama žrtvnih članova obitelji u svezi sa podacima nalaza u njihovim bazama podataka.

ChoicePoint brojke:

• 250 terabajta osobnih podataka
• Podaci o 250 milijuna ljudi

MySQL, nekada miljenik svijeta baza podataka, sada trpi napade sa svih strana. NoSQL pokret postavlja pitanja MySQL relevantnosti za web programe koji su ga popularizovali. Drizzle projekt negira njegovu relevantnost za “cloud computing”.

MySQL još uvijek ima jednog velikog saveznika i to onog za koji je većina ljudi mislila da mu je najveći neprijatelj, a to je Oracle.

Europska komisija, među ostalima, je zabrinuta da je Oracle preuzimanjem od Sun-a, koji je kupio MySQL 2008 godine za 1 milijardu dolara, imao namjeru da osakati natjecanje za bazama podataka tako što bi ugušio razvoj MySQL. Prema Wim Coakaerts, podpredsjedniku Oracle za Linux inženjerstvo i Monica-i Kumar, višem direktoru Oracle Linux virtualizacije i open-source marketinga, događa se upravo obrnuto, te po njihovoj tvrdnji Oracle značajno povećava ulaganja u MySQL a i nastavit će to činiti.

To će obradovati korisnike MySQL-a, jer će MySQL baza imati korist od Oracle-ovog iskustva u izgradnji baze podataka.

Oracle ima preko 30 godina iskustva oko baza podataka i inženjerske stručnosti, koju stavljamo na raspolaganje MySQL inženjerima da bi ojačali svoj razvoj. Mi nemamo interes od sakaćenja MySQL-a. Upravo suprotno …

kaže Wim Coakaerts.

Naravno, većina tih prednosti su spekulativne, a Oracle je tek počeo da ih aplicira na MySQL, iako se lako može desiti da ih preusmjeri negdje drugdje. S obzirom na egzodus nekih ključnih članova tima MySQL-a, Oracle se treba usredotočiti na zadržavanje ostatka. No, pod pretpostavkom da će Oracle nastaviti ulagati u MySQL, što je dobra pretpostavka, jer namjerava da ugrozi Microsoftov SQL Server bazu podataka.

To bi sve usrećilo, uključujući i open-source zajednicu koja je do sada sumnjala u Oracle namjere za MySQL. Također bi to moglo dovesti do poboljšanja za sam MySQL, što bi izbilo adute iz ruku NoSQL i drugim pobunjenicima, barem za one programe koji su relativno dobro prilagođeni za relacijske baze podataka.

NoSQL podaci trgovina će vjerojatno tražiti komad web aplikacija dosad rezerviranih za MySQL, jer Drizzle može da ugrozi MySQL po pitanju “cloud computing-a”. No, Oracle ulaganja u MySQL bi u svakom slučaju ojačali ovu i dalje open-source bazu podataka.