Proces dolovania údajov
Proces extrakcie údajov z obrovského súboru údajov, ktorý možno použiť na analýzu a prínos pre organizáciu. Proces dolovania údajov vo všeobecnosti zahŕňa nasledujúce kroky −
Obchodné porozumenie
Je nevyhnutné obchodné porozumenie a cieľ klienta. Je potrebné definovať potreby klientov a potom pomocou scenára definovať ciele dolovania údajov.
Pochopenie údajov
Údaje sa zhromažďujú z rôznych zdrojov a skúmajú sa s cieľom pochopiť vlastnosti a charakteristiky údajov.
Príprava dát
Údaje, ktoré sa zhromažďujú, sa teraz vyberajú, čistia, transformujú, predspracujú a skonštruujú tak, aby boli pripravené na analýzu. Tento proces zaberie väčšinu času projektu.
Modelovanie
Na získanie údajov sa používajú matematické modely a algoritmy. Modelovanie Techniky alebo modely sú hodnotené zainteresovanými stranami, aby sa mohli použiť na súbor údajov na získanie výsledných údajov.
Hodnotenie
Zistené výsledky alebo vzory sa vyhodnotia, aby sa skontrolovalo, či sú v súlade s obchodným cieľom.
Nasadenie
Vytvorí sa plán nasadenia a vytvoria sa správy, ktoré pomôžu zlepšiť podnikanie pri rozhodovaní.
Proces dolovania údajov
Uveďte problém a formulujte hypotézu
V tejto časti sa preberá problém zo skupiny a aplikuje sa počiatočná hypotéza. Medzi expertom na dolovanie údajov a expertom na aplikácie prebieha hĺbková konverzácia s cieľom formulovať hypotézy a pokračuje počas celého procesu dolovania údajov.
Zber dát
Tento krok sa postará o to, ako sa údaje zbierajú z rôznych zdrojov. Existujú dva scenáre, v ktorých sa údaje zhromažďujú. Prvým je, keď odborník riadi proces generovania údajov, ktorý je dobre navrhnutý a pochopený. Druhým je situácia, keď odborníci nemôžu ovplyvniť proces generovania údajov a používa sa pozorovací prístup, ktorý náhodne generuje údaje. Postup zberu údajov implicitné rozdelenie vzoriek čiastočne alebo v niektorých prípadoch neznáme. Pre využitie odhadovaného modelu v konečných výsledkoch je potrebné vedieť, ako je zber údajov v rozpore s jeho rozdelením, keďže údaje by sa použili na modelovanie, konečnú interpretáciu výsledku a odhad modelu.
Predspracovanie údajov
V tomto procese sa nespracované údaje prevedú do zrozumiteľného formátu a pripravia sa na ďalšiu analýzu. Motívom je zlepšiť kvalitu dát a doplniť ich o známku pre konkrétne úlohy.
Zvyčajne má minimálne dve úlohy −
Detekcia a odstránenie odľahlých hodnôt
Odľahlé hodnoty sú nešpecifické údaje, ktoré nemožno použiť na pozorovanie. Obsahuje chyby a abnormálne hodnoty, ktoré môžu poškodiť model. Rieši sa buď detekciou a odstránením odľahlých hodnôt alebo použitím robustného modelovania, ktoré nie je citlivé na odľahlé hodnoty.
Škálovanie a kódovanie
Používa sa variabilné škálovanie a kódovanie a musíme ich škálovať a sprostredkovať ekvivalentnú hmotnosť, čo pomáha pri analýze. Kódovanie špecifické pre aplikáciu poskytuje menšie informácie dosiahnutím redukcie rozmerov.
Model odhadu
Táto fáza pomáha vybrať techniky dolovania údajov, ktoré sú najvhodnejšie. Implementácia sa najskôr vykoná na rôznych modeloch a potom sa pre ďalší proces vyberie ten najjednoduchší.
Interpretujte model a vyvodzujte závery
Jednoduché modely sú zodpovedné, ale sú menej presné. Očakáva sa, že modely dolovania údajov novej generácie poskytnú vysokú presnosť pomocou vysokorozmerných modelov. Niektoré špecifické techniky sa používajú na overenie výsledkov interpretáciou týchto modelov.
Záver
Tento článok pozostáva z procesu dolovania údajov, ktorý zahŕňa kroky, ako je pochopenie podnikania, pochopenie údajov, príprava údajov, modelovanie, vyhodnotenie a nasadenie. Proces dolovania údajov pozostáva z 5 častí. Prvým je Štátny problém a formulovať hypotézu, ktorý problém sa berie a hypotéza sa aplikuje. Druhým je zber údajov, ktorý pomáha pri zbere údajov z rôznych zdrojov. Tretím je predspracovanie údajov, ktoré prevádza údaje do zrozumiteľnej formy pomocou detekcie/odstránenia odľahlých hodnôt, škálovania a kódovania. Štvrtý je model odhadu, ktorý pomáha vybrať vhodný jednoduchý model na analýzu. Piaty je Interpretovať model a vyvodzovať závery, ktorý odkazuje na použitie modelu na interpretáciu a vyvodzovanie záverov, ktoré poskytujú vysokú presnosť.