Wielkie zbiory danych - Big data

Obecna afera o PRISM ujawniona przez Edwarda Snowden-a mówi o tym, że rząd USA szpieguje obywateli czerpiąc dane bezpośrednio z korporacji informatycznych i telekomunikacyjnych. Warto zwrócić uwagę nie na fakt szpiegowania ale z czym jest to związane. 

Big data (wielkie zbiory danych) to termin określający zagadnienie ogromnych ilości informacji. A tym jest np. wszystkie rozmowy telefoniczne danego operatora. Czy zawartość zdjęć dodawanych na facebooka. Youtube ma mechanizmy, które sprawdzają czy materiał nie jest przypadkiem zgodny z jakimś materiałem zastrzeżonym. Można by sobie wyobrazić mechanizm który sprawdza czy na filmie jest broń czy wybuchy i jeżeli tak to przesyła taką informacje do sprawdzenia, oczywiście z informacją kto ten film umieścił.

Oczywiście problemem jest przechowywanie takiej ilości danych ale każdy żyjący trochę dłużej widzi postęp w magazynach danych. 10 late temu 40 GB dysk był standardem, teraz jest to 1 TB. A to na rynku zwykłego zjadacza chleba a jest on jeszcze większy na rynku przemysłowym. Przestrzeń jest tak tanie że teraz rozpowszechnia się metoda trzymania danych w "chmurze".

Mając tą ogromną ilość danych należy je teraz przetworzyć aby uzyskać jakąś nową wiedzę. Zgodnie z dane-informacja-wiedza. Takim przykładem może być badanie które pokazało jak niewiele trzeba informacji aby wiedzieć kim jesteś. Naukowcy poinformowali potrzebują 4 punktów danych czyli 4 rozmów telefonicznych aby na 95% wiedzieć kim jest dzwoniąca osoba z grupy 1,5 mln osób. Czyli nawet jak użyje telefonu na kartę aby zachować anonimowość będziemy wiedzieć kim ona jest.

Wielkiej Brytanii agencje policji mogą łączyć ze sobą takie informacje, jak wzorce przestępstw oraz dane meteorologiczne i gospodarcze, aby przewidywać, gdzie może dojść do złamania prawa. Wskaźnik sukcesu tych działań wynosi 60%.

Jest to nowa dziedzina zatem takich ciekawych badań czeka nas na pewno więcej.

Kolejnym elementem jest zbieranie danych. Pięć lat temu uzyskanie sekwencji genomu szło w setki tysięcy dolarów. Teraz kosztuje tys. dolarów a trwają prace aby były tańsze. W poprzednim poście pokazałem nowe rodzaje czujników, które mogą być podłączane dla większej ilości danych.

Big Data jest dobre bo będziemy wiedzieć więcej. Jednak rządy też będą wiedzieć więcej o tobie. Lista rozmów telefonicznych i historia kart płatniczych wiele mówi o człowieku.

Na razie należy pamiętać, że darmowe usługi internetowe (np. gmail) nie są darmowe. Płacimy ujawniając siebie.

Polecam również artykuł "Big Data, czyli firmy wiedzą o tobie więcej niż ty sam"