Čo sú to veľké dáta?

Ako

podľaRyan Dube

Posledná aktualizácia dňa26. marca 2020

V priebehu rokov sa mnoho módnych slov stalo módnou v mnohých priemyselných odvetviach. Existuje len málo ľudí, ktorí sa stali tak populárnymi a tak dlho, ako veľké dáta. Čo sú to však veľké údaje?

Veľké údaje sa týkajú virtuálneho oceánu informácií z rôznych zdrojov, ktoré sa analyzujú a filtrujú takým spôsobom, aby sa dosiahli zmysluplné a uskutočniteľné výsledky.

Proces konverzie „veľkých údajov“ na zmysluplné výsledky sa môže javiť komplikovaný a zložitý. Keď však pochopíte, aké veľké údaje sú a ako to funguje, pochopenie toho, ako to urobiť zmysluplné, sa nezdá byť tak zložité.

Čo sú to veľké dáta?

Keď počujete ľudí hovoriť o „veľkých údajoch“, zvyčajne to má veľa mávajúcich rúk a veľké slová. Keď však zredukujete všetky nadsázky, skutočné „dáta“ sú vlastne veľa tokov viacerých údajov.

Aby sme tomu porozumeli, môže vám pomôcť príklad. Povedzme, že prevádzkujete zastrešujúcu výrobnú spoločnosť. Vaše marketingové oddelenie hľadá spôsob, ako lepšie predpovedať, kedy sa bude dopyt na trhu zvyšovať.

Pred veľkými dátami obchodníci študovali trendy na trhu, posielali zákaznícke prieskumy a mnoho ďalších aktivít.

Zhromaždili všetky tieto údaje a uložili ich do vnútorných databáz svojej vlastnej spoločnosti. Niekto môže mať na starosti aktualizáciu údajov z marketingového prieskumu každý rok alebo štvrťročne.

Príchod veľkých údajov však rozširuje možnosti vykonávania tohto druhu výskumu. Veľké údaje sú obzvlášť účinné pri identifikácii dôležitých trendov alebo udalostí v takmer reálnom čase.

Dátové vstupy pre tento druh analýzy „veľkých údajov“ môžu zahŕňať dátové toky v reálnom čase tým, že napíšu kód, ktorý sa pripojí k internetu Rozhranie pre programovanie aplikácií (API) mnohých rôznych spoločností, ktoré tieto údaje zverejnili:

• Twitter a Facebook: Zistite, kedy a prečo ľudia diskutujú o nákupných dáždnikoch.
• počasie: Identifikácia poveternostné podmienky alebo predpovede, ktoré by mohli viesť k vyššiemu zastrešujúcemu predaju.
• Akciový trh: Sezónne zmeny v nákladoch na suroviny na výrobu dáždnikov.
• Použitie na webe zákazníka: Používanie informácií z internetu počítačové cookies ľudí, ktorí navštívia katalóg spoločnosti, aby pochopili nákupné správanie.
• História nákupu zákazníkov: Sledovanie geografie a ročných období trendov v mieste predaja od maloobchodníkov.

Aby bolo možné využívať veľké dáta, marketingový tím spoločnosti by musel v niektorých prípadoch nainštalovať nové technológie.

Big Data a internet

To by mohlo zahŕňať technológiu internetu vecí (IoT) u maloobchodníkov, ktorá sleduje a podáva správy o správaní spotrebiteľov. Alebo to môže vyžadovať, aby programátor napísal kód potrebný na rozhranie s rozhraním API spoločnosti Twitter, aby sa odfiltrovali všetky Tweety, ktoré obsahujú „dáždniky“ alebo názov spoločnosti.

Každá z týchto technológií je teraz k dispozícii vďaka internetu. Internet umožňuje komukoľvek využívať toky údajov z celého sveta.

V tomto prípade môže nastavenie fungovať v našom príklade.

Tento diagram ukazuje, ako údaje prúdia do podnikového „dátového jazera“ z mnohých rôznych zdrojov. Prichádzajúce údaje môžu byť štruktúrované odlišne, ale dôležité je zhromažďovať čo najviac údajov zo všetkých zdrojov.

Čo je to dátové jazero?

Na rozdiel od databázy, ktorá obsahuje štruktúrované údaje usporiadané do konkrétnych stĺpcov a riadkov, je dátové jazero veľkým úložiskom mnohých rôznych foriem údajov.

Uložené údaje môžu byť štruktúrované alebo neštruktúrované. Znamená to, že môže mať štruktúrované riadky a stĺpce alebo nemusí. Dáta môžu byť reťazce, ktoré používajú osobitné formátovanie na oddelenie údajov. Každý zdroj údajov môže odoslať údaje do dátového jazera v akejkoľvek forme, ktorá sa mu páči.

Predstavte si dátové jazero ako rozsiahlu knižnicu, ktorá obsahuje veľa foriem médií, ako sú knihy, obrázky na mikrofiši a video na DVD.

Predstavte si inžiniera pre digitálnu inteligenciu a analýzu dát ako patrónov tejto knižnice. Títo patróni môžu digitálne vytiahnuť údaje z kníh, mikrofiší a DVD a nájsť spôsoby, ako ich zmiešať a kombinovať a učiť sa veci, ako tieto údaje korelujú.

Z týchto poznatkov pochádzajú skutočné, použiteľné inteligencie. Niektoré z našich príkladov môžu obsahovať:

• Chatter na Twitteri a Facebooku naznačuje blížiacu sa búrku v New Yorku, kde tisíce zákazníkov plánujú kúpiť dáždniky.
• Údaje o nákupe počítačových súborov cookie a maloobchodné pokladničné prístroje naznačujú, že kupujúci v Kalifornii sú ochotní zaplatiť viac za dizajnérske dáždniky ako ľudia vo Virgínii.
• Veľký blížiaci sa stav búrok naznačuje, že väčšina východného pobrežia bude pokrytá dažďovou búrkou celý týždeň.

Všetky tieto poznatky by mohli podnietiť marketingový tím, aby investoval do väčšej geografickej reklamy, kde je oveľa väčší dopyt po zastrešujúcom predaji. Výrobné operácie by tiež mohli presunúť svoje výrobné úsilie do oblastí sveta bližšie k miestu, kde je vyššia pravdepodobnosť predaja.

Týmto spôsobom môže každá spoločnosť zefektívniť svoj marketing a prevádzku pomocou veľkých dát.

Čo je Hadoop?

Ďalšou otázkou je, ako spoločnosti spracúvajú také veľké objemy údajov a identifikujú trendy?

Tento druh výmeny dát vyžaduje obrovské počítačové zdroje. Toľko natoľko, že spoločnosti už nepoužívajú veľké sálové počítače v priestoroch, aké bývali. Mnoho z týchto služieb sa teraz nakupuje z cloudu. Cloudové spravodajské služby ako Apache Hadoop ponúkajú veľa počítačových uzlov vo veľkej cloudovej sieti. Každý z týchto uzlov prispieva k spracovateľskému výkonu požadovanému na analýzu obrovských tokov údajov z viacerých zdrojov.

Tento druh výpočtovej sily je srdcom strojovej alebo digitálnej inteligencie a analýzy údajov. Hadoop je softvérový rámec, vďaka ktorému táto celá sieť obrovských výpočtových síl pracuje tak, ako sa to vyžaduje pre technikov digitálnej inteligencie.

Akonáhle výpočtový motor vytvorí použiteľné spravodajské informácie, zvyčajne sa spoločnosti doručia vo forme dashboardov alebo správ.

Veľké dáta nie sú iba hlášky

Pravda je, že „veľké dáta“ sú viac ako len firemné žargóny. Mnoho spoločností sa učí, že lepším využívaním údajov dokážu dosiahnuť množstvo úspechov.

• Výrobcovia môžu zlepšiť kritické výrobné parametre, ako je výnos, kvalita a efektívnosť.
• Maloobchodníci môžu lepšie zosúladiť marketingové, reklamné a obchodné investície na základe signálov trhu.
• Distribútori dokážu predvídať potenciálne problémy v dodávateľskom reťazci a preventívne vypracovať pohotovostné plány.
• Spravodajské organizácie môžu rýchlo identifikovať spravodajské udalosti analýzou verejných signálov na internete.
• Odborníci na kybernetickú bezpečnosť používať signály na internete na identifikáciu kybernetických útokov, keď práve prebiehajú.

Aj keď veľká časť údajov, ktoré veľké údaje dosiahli v posledných rokoch, zostáva pre verejnosť prakticky neviditeľná, veľké údaje skutočne mali významný vplyv na každodenný život ľudí na celom svete.