Tag

Big Data Archives - Dat'n'Roll

Mire számíthatunk a Cloudera Data Analyst vizsgáján?

By | Big Data News, Cloudera | No Comments

Nemrég sikerült teljesítenem a Data Analyst Cloudera vizsgát. De talán ne szaladjunk ennyire előre.

Készülés

Miután egy kisdiák lelkesedésével kijegyzeteltem a training videók anyagát és memorizáltam a törzsanyagot, igyekeztem arra fókuszálni, hogy közepesen bonyolult feladatokat anélkül is simán teljesíteni tudjak, hogy a doksit vadul böngésznem kelljen. Igazából nem tartom a manual/dokumentáció böngészését eredendően elítélendő dolognak, ennek mellőzésére praktikus okaim voltak – a vizsgán használt virtuális masina erőforrásokban nem bővelkedik (bár egy tabon a Hue plusz egy terminál ablak simán ment neki), illetve elég könnyű kifutni az időből. A vizsgán csak a hivatalos Apache doksikat lehet használni, így azért érdemes valamennyi időt ezek, illetve a sqoop manual megismerésére is szánni, ne ott lássuk ezeket először, ha mégis bajba kerülnénk. Alternatív forrásként a neten találtam még felkészítő videókat.

A vizsga teljesen gyakorlatorientált lásd oldal alján a példát, így mindenképpen ajánlott letölteni a QuickStart-Imaget (én a docker-es verziót használtam, a soványka 8 GB RAM-ommal vígan elkocogott az Ubuntumon). A VM-ben van egy retail_db adatbázis pár táblával, azokat ha sqoop-pal behúzod Hive-ba, már el is kezdheted a gyakorlást (a root/cloudera párossal pedig hozzáférhetsz a db-hez).

Ha alapos munkát végeztél, akkor tudni fogod a HiveQL és Impala közötti különbségeket, magabiztosan tudsz írni CTAS-t, tudod használni a beépített függvényeket és tudod, hogy mikor kell over-partition-by-t használnod.

Adminisztratív teendők

Az első lépés, hogy Clouderán lévő accountodhoz kicsengeted a megfelelő összeget, erre ő küld majd egy üdvözlő emailt. Egy ponton átirányított a PSI oldalára – ez egy oldal online vizsgákra specializálódva, különös ismertetőjegye az előző évszázadra jellemző webdesign. Következő lépésként kiválasztottam a vizsga időpontját, időzónámat (ő pedig udvariasan figyelmeztetett, hogy ugyan át tudom ütemezni más időpontra a vizsgát, de erre már nincs lehetőségem az utolsó 24 órában). A PSI oldalán van egy kompatibilitás-teszt, ahhoz hogy sikerüljön ez, fel kellett tegyem a PSI egyik chrome extensionjét.

Egy virtuális gép elérésénél kritikus tud lenni a késleltetés, így ha az ember fia nem bízik a csillagok megfelelő együttállásában, kezébe veheti sorsát és foglalhat meeting roomot a Cloudera Budapesti főhadiszállásán – bízva abban hogy ott optimális technikai feltételekkel tud dolgozni.

Maga a vizsga 120 perces, de előtte 15 perc adminisztratív teendőkkel telik, így a szobát ideális elfoglalni már a vizsga kezdése előtt fél órával. A vizsga során elméletileg lehet csúszás az időben, de nálam ez nem volt számottevő.

Érkezés

Amikor elérkezett az idő, felkaptam kabátom, esernyőm és belötyögtem a villamossal arra a pontra, amit a google maps megjelölt. Annak ellenére, hogy már-már védjegyem az, hogy mindenhonnan kések egy picit, meglepő módon sikerült időben odaérjek. Természetesen ez sem ment abszolút zökkenőmentesen, tekintve hogy naívan két méteres ‘Cloudera’ feliratot vártam, amit nem találtam sehol. Némi útbaigazítás után megtudtam, hogy a Roosevelt irodaház hat/hetedik emeletén van a főhadiszállásuk, így betoppantam az irodaházba. Miután ízléstelen barna műbőr kabátommal nem tudtam elvegyülni az ottani öltönyös úriemberek között, kértem vendégkártyát a Clouderához. A lift kártyával működik, így a gombok kétségbeesett nyomkodása nem segít abban, hogy az ember felkerüljön a hetedik emeletre. A recepción gyorsan készítettem vendég-matricát magamnak, amit büszkén felragasztottam kabátom mellrészére. Pár perc után odaért a kontaktom, és újabb pár perc után sikerült találniuk egy másik meeting roomot, majd lekísértek a teremhez. Összességében 5-10 perc után a szobában voltam, így megkezdhettem annak átrendezését. A redőnyöket lehúzták, táblát kivitték, én pedig elpakoltam az asztalról mindent amit tudtam, elővettem laptopom és izzadt tenyérrel vártam, hogy a PSI felületén rá tudjak kattintani a vizsga megkezdése gombra.

 

Vizsga


A gombra kattintás után egy felületet kaptam, egyelőre VM nélkül, ahol egy chat ablakban egy sablonszöveg fogadott, majd kértek, hogy igazoljam magam, hordozzam körbe a laptopot a szobában, mutassam meg a szoba falait alaposan, mutassam meg az asztal felületét, stb. Mivel a vizsgáról nem készíthettem képeket, így a fenti kép csak egy google képkereséssel talált illusztráció – ám arra teljesen tökéletes, hogy megmutassa a felületet. Az ablaknak háttal nem lehetett ülni, illetve a kamerában jól látszódnom kellett (utóbbi a View webcam & desktop menüpont alatt volt ellenőrizhető a felső menüsávon). A kezdés előtt a system monitort/topot kellett mutatni. Maga a vizsga kilenc rövidebb feladatot tartalmazott. Egy feladat megoldása többnyire pár percet vett csak igénybe, a neheze annak ellenőrzése volt. Gyakori kikötésként szerepelt, hogy egy másik, létező táblával megegyező formátumot kell követni (fájlformátum, tagolás, oszlopnév), így ezt reflexszerűen tudni kellett ellenőriznem. A feladatoknál nincsenek részpontszámok és automatizáltan vannak ellenőrizve, így könnyű elcsúszni az ilyen “banánhéjakon”.
Teljesítménybeli problémákat nem tapasztaltam, a lekérdezések többsége 2-3 perc alatt lefutott. Két alkalommal hiába gépeltem szöveget, kétségbeesett billentyű-csapkodásomra sem jelent meg a virtuális gépen – ez a probléma mindkét alkalommal pár perc után magától megoldódott. A touchpaddal is volt egy kevés gondom, de erről könnyen el tudom képzelni, hogy lokális probléma volt. Miután vége lett a vizsgának, kaptam egy sablonszöveget, hogy 2-3 napon belül lesznek majd eredmények. Ezeket egyébként meglepően gyorsan megkaptam – mire az immár eléggé időszerű ebédem után visszaértem az irodába, már értesítettek is arról, hogy átmentem.

Ipar 4.0 Big Data-s szemmel

By | Tech Trends | No Comments

Első céges gyárlátogatásom az Ipar 4.0 buzzword köré fűződött egy budapesti „mintagyárban”. Ez a vállalat a gyártás mellett egyben jó példával is szolgál a feltörekvő cégek számára. Ennek kapcsán mutatták be megoldásaikat egy, körülbelül háromórás kiselőadás és körbevezetés során.

Íme, így működnek már a magyar fővárosban is az ipar jövőbe mutató megoldásai…

A lokációt szemmel láthatóan jó nagy alapterületű gyárak csarnokai töltik meg. Bár a tömegközlekedést tízperces, GPS-es gyaloglással kombinálva viszonylag könnyen megközelíthető a helyszín, azért az autó használata erősen javallott. A portán és recepción túljutva az emeleti tárgyalóban, az U-alakban elhelyezett tárgyalóasztalok mögött megtekinthetőek a mérőeszközökkel felszerelt, asztalszerű szerelőpadok, mindenféle kapcsolóval, monitorral, oldalt fémdobozokra erősített villanymotorokkal és szelepekkel, a sarokban 3D-nyomtatónak tűnő objektumok és egy-két jól felismerhető kompresszor.

A kezdetben fafeldolgozásra, majd pneumatikára szakosodott cég láthatóan nagyon komolyan veszi a gyártást. Magyarországon a második legnagyobb európai gyárkapacitással rendelkeznek, ezen belül gyártás és gyártmányfejlesztés, terméktervezés, logisztika és értékesítés is zajlik itt. A gyártás mellett ez a gyártóközpont egyben kompetenciaközpontként is szolgál, úgy tűnik, elég komolyan veszik az oktatást is, ami persze el is várható egy közel 100 milliós beruházástól.

Optimalizált folyamatok

A cég az úgynevezett „pull” gyártási filozófiát igyekszik követni, amely nagyvonalakban annyit tesz, hogy a középpontba az ügyfél és annak egyedi igényei kerülnek. Így a megrendeléstől a gyártáson át a kiszállításig minden ezek köré szerveződik, így a teljes értékáram húzza magával a termelést. Mindez a megrendelési variabilitás növekedésének a következménye, ahol a gyárnak egy 30 ezres cikkszámú katalógusból történő, havi szinten 70 ezres nagyságrendű megrendelést átlagosan három rendelési mennyiséggel kell tudni kielégíteni úgy, hogy a megrendeléstől számított 24 órán belül már szállítás alatt kell lennie a legyártott terméknek.

Emellett a cég törekszik arra is, hogy a lehető legkevesebb komponens, legyártott termék, alapanyag legyen raktáron, ezzel csökkentve a tárolási költségeket. Ennek szellemében nincs is késztermékraktár és az alapanyagraktár is minimális. Az egyes gyártási folyamatokat analizálják, és folyamatoptimalizációval igyekeznek

  • minimalizálni a fölösleges fázisokat,
  • csökkenteni a szükséges, de nem értékteremtő lépéseket (ilyen például a ragasztás szárítási ideje),
  • és persze maximalizálni az értékteremtő szakaszokat.

Informatika a fejlődés szolgálatában

A cég folyamatosan vizsgálja annak lehetőségét, hogyan lehet a mindennapi informatikát beépíteni a gyártási folyamatokba, ezáltal egyszerűsítve és optimalizálva annak lépéseit. Itt jön képbe a mobilitás, a gyártási adatokból származó információk ügyfélrendszerekbe történő integrálása. Ilyen például az automatikus rendelés a folyamatos feltöltéshez a minimum- és maximumszintek biztosításával, ha valamely fontos alapanyag éppen kifogyóban van.

Bár a manuális lépések – például a 12 hetes termeléstervezés – még az egyes folyamatok részeit képezik, a meglevő folyamatokból származó információk visszacsatolása már nagyon sok szinten beépült a gyár mindennapi életébe. Szinte mindenről valós időben tájékoztatást kapnak a felelősök; real time ismerik a készletinformációkat és a megrendelések állapotát, illetve azonnal értesülnek a meghibásodásokról is. Ahol csak lehetséges, ezt segítő módszereket (Lean, Kanban stb.) alkalmaznak.

Gyakorlatias technológiahasználat

Mivel a gyártócsarnokban folyamatos az erős háttérzaj, nagyon jól jött a fülre erősíthető rádióvevő, melyen keresztül narráció kísérte a körbevezetést. A csoportot az előadó vezette, miközben egy másik személy hátulról biztosította, hogy senki se „kalózkodhasson” az üzemi területen. Elsőként a minőségellenőrző állomást tekinthettük meg, majd megismertünk egy teljesen automatizált magasraktárat, ahol az egyes alkatrészeket, illetve a beszerzés során beszállított alapanyagokat tárolják. Ehhez persze automatikus kiszolgálás párosul.

Láthattuk a fémalkatrészeket megmunkáló CNC-eszközöket is; majd a fröccsöntő gépeket is, melyek apró, mérgező granulátumokból változatos műanyagformákat állítanak elő. Megnéztünk, hogyan munkálkodnak a mérnökcsapatok, amelyek az egyes munkafolyamatok optimalizálásán, illetve a gyártóeszközök fejlesztésén szorgoskodtak.

Külön részleg foglalkozott az egyes munkafolyamatok lehetséges fejlesztéseivel (Continuous Improvement). Megtudtuk, hogy ha valakinek a gyártási folyamatok javítására irányuló ötlete támad, ennek megvalósíthatóságát a gyárban használt eszközökön helyben kipróbálhatják és lemérhetik a hasznosságát, vagy akár nagyobb méretű projekt is indulhat a hatékonyság lehetséges növelésének kivizsgálására.

A második emeleti összeszerelő részlegen a magasraktár ismét nagy szerepet kapott. Láthattuk, hogy a csomagolás és szállítás során a raktárban dolgozók okoskesztyűk segítségével végzik a munkájukat. Utunkat az oktatóhelyiséggel zártuk, ahol – előre meghatározott példadarabok legyártásán keresztül – minden új alkalmazott elsajátíthatta a gyártás alapjait és megismerheti a gyártósorok működését. A cég láthatóan nagy hangsúlyt fektet az oktatási folyamat lerövidítésére; elhangzott, hogy az átlagos betanítási időt sikerült három hónapról három hétre redukálniuk.

Modulokban gondolkodnak

A gyárlátogatás során különösen tetszett, hogy a cégnél modulokban gondolkodnak. A legkisebb egységeket is igyekeznek vonalkódokkal azonosítani, hogy a megrendelőhöz jutva a gyártási és tesztelési információk azonnal elérhetővé váljanak nem csak a kész alkatrészekre, hanem azok egyes moduljaira vonatkozóan is. A gyakorlatban mindez az jelenti, hogy egy kompletten legyártott levegőelőkészítő bármely komponenséről már a gyártás megkezdésétől kezdve gyártói adatok érhetők el a megrendelők számára online.

A legtöbb helyen a termelésáram iránya optimalizált, a gyártócsarnokokat már eleve eszerint rendezték be. A karbantartók számára a nagy távolságok leküzdése céljából motorkerékpárok állnak rendelkezésre, így minimalizálva a leállási időket, melyeket az esetlegesen elromlott gépek kihasználatlan állapotban töltenek. Az operátorok munkája visszakövethető, vonalkóddal ellenőrizhető, és ahol lehet, ott a gyártási folyamat önmagát is ellenőrzi. Egy-egy univerzálisabb összeszerelő gépbe például csak a megrendeléshez tartozó présgépek illeszthetők be, minden más esetben az operátor figyelmeztetést kap. A berendezések jelentős része képes az autonóm karbantartásra akár egyetlen operátor közreműködésével is.

Szabványokhoz igazított innováció

Az infrastruktúrát főként belső fejlesztésű rendszerek alkotják, melyeket integráltak a cég cloud alapú megoldásaihoz. A gyártás folyamatát támogató eszközöket szigorúan az ipari szabványok követésével alakították ki (pl. OPC UA).

Ezzel kapcsolatban megtudtuk, hogy az ipari folyamatoknál csakis vezetékes jeltovábbítás engedélyezett, kivételt csupán a kevésbé kritikus csomagoló és szállító részlegek jelentenek, ahol WiFi-alapú megoldásokkal is találkozhattunk. A megrendeléseket egyébként prediktív becslés alapján teljesítik a valós idejű számokkal kalkulálva; ez főként a drága és nehezen tárolható alkatrészek esetében fontos.

Ipar: Adatok és optimalizáció

Adatokkal foglalkozó mérnökként érdekes volt számomra, hogy nem gyűjtenek minden apró szenzorból adatokat csak azért, hogy majd később analizálják azokat. Csakis azokat az eseményeket, státuszinformációkat tárolják, amelyekről azt gondolják, hogy optimalizációs lehetőséget rejtenek magukban. Felmerül azonban a kérdés, hogy honnan lehetnek biztosak benne, hogy ezzel a megközelítéssel nem szűrnek-e ki rejtett optimalizációs lehetőségeket.

A távlati célok és aktuális problémák terén – saját bevallásuk szerint – nem biztos, hogy a további optimalizáció lenne a legfontosabb cél (bár ennek ellenére felvásároltak egy mesterséges intelligenciával foglalkozó céget), ehelyett inkább egyszerű kapacitásnövelést kellene kivitelezni, emiatt épült egyébként új gyártócsarnok is a közelben. Igazi optimalizációt az jelentene, ha a terméktervezésbe a gyártási folyamatot is bevonnák.

A cég igyekszik új irányokat megnyitni a virtuális valóság gyártási folyamatokra történő kiterjesztésével; ez kifejezetten hasznos lehet például a veszélyes termékek gyártása során. Kutatóközpontjuk vizsgálja a bionikus eszközök fejlesztését és alkalmazhatóságát is, elsősorban az önszerveződés ipari célú felhasználása céljából.

A koncepcióból látszik, hogy az Ipar 4.0 nem egyenlő a teljeskörű automatizáltsággal (persze, hiszen automatizációt alkalmaztak már a ’70-es években is); viszont az jelentős előfeltétele a jelenlegi megoldásoknak és a jövőbeli fejlesztési irányoknak. A különböző típusú visszacsatolások beépítése a folyamatokba azonban jelentős mértékű megtakarításhoz és egyben piaci előnyhöz is juttathatja azokat a cégeket, amelyek képesek ezt megérteni és ügyesen kihasználni. A teljesen adatalapú megközelítések használata azonban még az önmagukat Ipar 4.0 kategóriába soroló cégeknél is váratnak magukra. Ha ez egyszer teljesen megvalósul, már nemcsak a gyártási folyamatokból, hanem magából a legyártott termékekből is visszacsatolást kaphatnak a gyártók. Az sem kizárt azonban, hogy a saját beszállítóik előrejelzései alapján automatikus módszerekkel is optimalizálhatják a rendelési költségeiket.

 

Ha az ipar kevésbé vonzó, tekintsd meg milyen egyéb adatokkal kapcsolatos cikkeinket:
https://datandroll.hu/2020/02/12/adatelemzes-trend-bizni-az-adatokban/

datandroll.hu/2020/03/16/megjosoljuk-hogy-megjosoljak-facebook-prophet/

Nézz körbe a Big Data szolgáltatásaink között:

https://thebigdataplatform.hu/big-data-uzleti-megoldasok/

Ha érdekel a cégünk, csapatunk, esetleg csatlakoznál, látogass el a főoldalunkra:

https://united-consult.hu/

Trendinek lenni = bízni az adatokban

By | Big Data News, Business, Data Science, Machine Learning, Tech Trends | No Comments

Az esetek többségében ismeretlen területre lép az a cégvezető, aki az adatelemzés és -vizualizációt készül integrálni a vállalkozása üzleti folyamataiba. Ahogyan azonban szakértő segítséggel – a számára szükséges mértékben – egyre jobban átlátja a rendszert, és lépésről lépésre tisztul a kép a végeredményt illetően is, úgy egyre nő a bizalom, az ügyfél pedig minden tekintetben partnerré válik.

Természetesen hosszú egy megbízás útja, amíg a csapat felállításától eljutunk a felhasználók betanításáig, illetve az új rendszer élesítéséig. Kollégáink tapasztalatai szerint – közép- és nagyvállalati környezetben – átlagosan több mint fél évet vesz igénybe, mire az előkészítésből, az üzleti megértésből, a fejlesztésből, a tesztelésből, majd az átadás/átvétellel záruló üzembe állításig eljut egy projekt. Ahogyan látszik: miként a feladat, úgy az ügyfél döntése is igen komoly, hiszen a vállalkozás mindennapjaiba, üzleti folyamataiba drasztikus változásokat hoz egy ilyen rendszer.

Miért lehet bizonytalan az ügyfél?

Fejlesztőként érdemes tisztában lenni azzal, hogy az ügyfél esetleges bizonytalansága hátterében több tényező is állhat. Az ML (machine learning) modellek egyelőre viszonylag ismeretlen terepet jelentenek a hagyományos üzleti szféra számára – különösen igaz ez a KKV szektorra –; a meglévő folyamatba egy, az üzlet számára kevésbé kontrollálható elemet engednek be; szükségessé válik a megszokott működési folyamatok átalakítása, az adatelemzés beillesztése az operatív döntéshozatalba; és persze kritikus pont az is, hogy a fejlesztés érdekében külső szakértőkkel kell megosztani az üzleti információkat.

Munkatársunk, Fodor Szabolcs szerint az üzleti szféra jövőjét mindezek ellenére egyértelműen az adatvezérelt döntéshozatal jelenti, minden jel ebbe az irányba mutat. „Egyfajta hype is övezi az adatvezérelt döntéshozatalt, a BigData vagy AI megoldásokat, ami sok vezetőnek, cégtulajnak felkelti az érdeklődését, azonban a valóság és a hype között még nagy a szakadék. De ez a folyamat öngerjesztő, hiszen ha egy szektorban egy vállalat piaci előnyhöz jut egy adatvezérelt megoldással, a versenytársak lépéskényszerbe kerülnek, hiszen hosszú távon aki ebből kimarad, az lemarad” – fogalmazott kollégánk.

Széles körű felhasználás

Az adatelemzés és -vizualizáció az üzleti élet minden szegmensében hatékonyan támogatja a menedzsment munkáját, a vállalati döntéshozatalt. Zsolt és Szabolcs a BI Fórumon megtartott előadásban kitértek arra is, hogy a technológia olyan területeken is sikerrel bevethető, mint például az árkalkuláció, a termékajánlás, az ügyfelek mikroszegmentációja, a Customer Lifetime Value Prediction vagy éppen az üzlethelyiség ideális helymeghatározása.

Szabolcs ezzel kapcsolatos tapasztalatairól is beszámolt. Hangsúlyozta, mindig az adott iparág igényeitől függ, hogy a technológia mely funkcióit, lehetőségeit, előnyeit használják ki szívesebben és nagyobb bizalommal a cégek. „Egy pénzintézet esetén elsősorban az ügyfél scoring rendszerek a legfontosabbak, amellyel az ügyfelek hitelképességét vizsgálják. Egy gyártóüzemben ez nyilván nem használható eszköz, ott első sorban a predictive maintenance-nek van a legnagyobb szerepe, ami az üzem eszközeinek hatékony karbantartását, a karbantartási költségek leszorítását támogatja. Egy termékajánlási megoldás pedig főként az online termékértékesítésben érdekelt cégeknek lehet fontos, ahol széles termékkörből kell kiszolgálni az ügyfelet az egyedi igényei alapján” – osztotta meg kollégánk.

Ha érdekel még milyen újdonságot tartogat 2020 az adatok terén, olvasd el az alábbi cikkünket is:
https://datandroll.hu/2020/01/29/2020-az-adatok-eve-lesz/

Vagy tekintsd meg cégünk más témában megosztott tartalmait:
https://united-consult.hu/category/cikkek-rolunk-es-masrol/

 

2020 az adatok éve lesz

By | Big Data News, Business, Data Science, Data Visualization | No Comments

Az idei igazán különleges év lesz. A számmisztikával foglalkozó numerológusok szerint 2020-ban ugyanis az anyagiakkal összefüggő energiák uralják a mindennapjainkat, az évszámban szereplő két nulla azonban nehézségeket, komoly kihívásokat jelent majd. Mi magunk is izgalmas esztendőre számítunk, de az efféle okkult tanok helyett továbbra is a tudományos alapokon nyugvó adatelemzés segítségével tekintünk a jövőbe.

Mi már a tavalyi esztendőt is ennek szellemében zártuk, 2019 év végén kollégáink ugyanis előadóként vettek részt a Budapest BI Fórumon, mely a legnagyobb magyar, analitikával foglalkozó, független szakmai rendezvény. Az eseményen egyebek mellett szó volt a BI- és analitikai trendekről, az adatvizualizációról, a mesterséges intelligenciáról, az érdeklődők konkrét esettanulmányokat is megismerhettek az üzleti élet több területéről, Borbély Zsolt és Fodor Szabolcs kollégáink pedig a kiskereskedelemben használatos adatalapú optimalizációról tartottak előadást.

Még tartanak az ismeretlentől

Bevezetésként körüljárták a szakmai berkekben sokakat foglalkoztató kérdést, hogy az adatalapú döntéshozatal vajon csak „win-win” szituációkat eredményezhet-e. Kollégáink úgy vélik, hogy az emberi tényezőktől független folyamatok, valamint az azok eredményeképpen megszülető vagy éppen az azok hátterében álló objektív mérőszámok kétségtelenül pozitív megítélés alá esnek; ugyanakkor a titokzatos „black-box” technológia jelenlétét és a döntések feletti kontroll csökkenésének érzetét negatívan élik meg a cégvezetők és döntéshozók. 

A bizalom azonban jelentősen erősíthető, ha jól előkészített, szakmailag kifogástalanul kivitelezett projekteket adunk át a megrendelőknek, illetve a potenciális ügyfelek kizárólag ilyeneket látnak a referenciáink között. Ehhez azonban feltétlenül szükséges – mondhatni: a sikeres projekt kulcsa –, hogy az ügyféllel közösen helyesen fogalmazzuk meg az üzleti problémát, melyre megoldást keresünk; hogy megbízható és széles körű adatforrásokkal rendelkezzünk; illetve, hogy nyitottságot tapasztaljunk az ügyfél részéről is.

Szabolcs ezzel kapcsolatban úgy vélekedik: „Ma Magyarországon az adatgyűjtés már kellő fókuszban van, és azon KKV-k, amelyek erre hangsúlyt fektetnek, többnyire megfelelő adatforrásokkal is rendelkeznek. Az adatok közvetlenül az üzleti döntéshozatalban, termékfejlesztésben való felhasználásában azonban van még teendő. Itt a nyitottság, az ismeretlentől való félelem, de egyes esetekben az ellenérdekeltség is gátat szab az adatok felhasználásának. Ezen edukációval, pilot projektekkel lehet a legkönnyebben segíteni.”

Komplex szolgáltatásoké a jövő

Ha a nyitottság és a bizalom megvan, az ügyfél csak jól járhat az adatelemzéssel és az adatalapú döntéshozatallal. Kollégáink szerint ugyanis az adatelemzés alapja – némileg leegyszerűsítve –, hogy az üzleti kérdést az adatok nyelvére fordítjuk. Mindez lényegében azt jelenti, hogy az emberi vagy üzleti logika diktálta intuíciókat a meglévő adatokkal támasztjuk alá vagy cáfoljuk meg indokolt esetben; az elvárások alapján felépítjük a modellt; összevetjük a tényeket és az elvárásokat; végezetül pedig forintosítjuk az eredményt.

Egyszerűnek tűnik, a háttérben azonban idő- és energiaigényes feladatok állnak. Kollégáink szerint egy-egy projekt esetében a munka 30%-át az üzleti megértés, 50%-át az adatgyűjtés és előkészítés, adja, és csupán 20%-ot tesz ki maga a modellfejlesztés, mely önmagában is igen komoly és felelősségteljes szakmai kihívás. Ide tartozik ugyanis a Feature Engineering-gel, az ML tanítással és a modell teszteléssel kapcsolatos összes feladat, mely a jövőbeni, működő rendszer motorjául szolgál.

Zsolt és Szabolcs előadásában szó volt arról is, hogy míg sok piaci szereplő csak bizonyos részfeladatokat vállal az előbbiek közül, addig a United Consult komplex megoldásokat kínál az ügyfeleknek. Ezek alapját képezi az imént részletezett adatbányászat és -elemzés, majd a modellfejlesztés. Ezeket követően a modell rendszerbe állítása és a rendszeres modellpredikció vesz még részt a folyamatban. A projekt csúcsa a felhasználói dashboard kialakítása és maga az adatvizualizáció.

Utóbbival kapcsolatban Szabolcs úgy fogalmazott: „Maga az adatvizualizáció lehet egy adatalapú projekt végterméke, ebben az esetben a döntéshozatal közvetlen támogatásában, a működés átláthatóbb áttekintésében van szerepe. De természetesen nem szükséges végterméke az adatvizualizáció egy adatalapú projektnek, de mindenképp támogató szerepe van az adatok megértésében.” Végezetül tehát, a bevezetőben említett számmisztikára visszatérve: 2020 valóban különleges évnek ígérkezik, és ahhoz sem fér kétség, hogy a számok valóban megmutathatják a jövőt, akár üzleti értelemben is. Mi, a United Consultnál azonban abban hiszünk, hogy terveinket nem alapozhatjuk az aktuális csillagállásra. A bigdata-technológiában rejlő lehetőségeket – megfelelő szakértelemmel – azonban bárki a saját javára fordíthatja.

További adatokkal kapcsolatos bejegyzéseinket itt találod:
https://datandroll.hu/

Itt pedig cégünk más témában megosztott tartalmait tekintheted meg:
https://united-consult.hu/category/cikkek-rolunk-es-masrol/

Mi is az a Qlik Sense?

By | Qlik, Tech Trends | No Comments

A Qlik Sense egy gyors, rugalmas interaktív elemzési lehetőséget biztosító rendszer, amellyel több száz felhasználó akár nagy adatmennyiséget is egyszerre képes feldolgozni. Mondhatnánk, hogy egy egyszerű BI eszköz, de azért annál jóval több.

Miért különleges?

  • Memóriában kezeli az adatokat, ezáltal gyors;
  • A szabadalmaztatott, úgynevezett „asszociatív technológia” lehetővé teszi a teljes adathalmaz felfedezését adatvesztés nélkül, így az adatok rugalmasan elemezhetőek;
  • Nagy adatmennyiséget képes hatékonyan kezelni;
  • Saját és felhő infrastruktúrán is elérhető.

In-Memory technológia

A Qlik Sense in-memory technológiára épül, vagyis lemez helyett memóriában, tömörítve tárolja az adatokat. Az in-memory tárolás előnye, hogy gyorsabban elérhetők az adatok RAM-ból, mint lemezről. A memória nem olcsó, viszont az utóbbi időben egyre olcsóbban elérhető és felhőben könnyedén skálázható.

Asszociatív technológia

A Qlik asszociatív technológiája lehetővé teszi, hogy:

  • egyrészt különböző forrásokból származó adatok adatvesztés nélkül automatikusan egymáshoz kapcsolódjanak;
  • másrészt az összekapcsolt és össze nem kapcsolt adatok is elérhetőek és könnyedén kereshetőek legyenek.

Az úgynevezett „associative technology” a Qlik egyik legfontosabb eleme az in-memory technológián kívül. Ez a technológia tehát lehetővé teszi, hogy a felhasználó a teljes adathalmazt átlássa függetlenül attól, hogy az adathalmaz mely része honnan érkezett és az összekapcsolás során mely rekordok esnének ki. Gyakorlatilag ezáltal egy FULL OUTER JOIN valósul meg minden adatforrás összekapcsolásakor úgy, hogy az eszköz azokat az adatokat kiemeli, amelyek a kulcsok mentén ténylegesen összekapcsolódnak. Még egy tapasztalt SQL fejlesztővel is előfordul, hogy két forrástábla összekapcsolásával adatot veszít. A Qlik asszociatív technológiája kiküszöböli ezt a problémát.

Big data

A Qlik Sense-hez tartozik egy big data megoldás is, ami az on-demand elnevezést kapta. Ennek lényege, hogy a felhasználó a nagy mennyiségű adathalmaz 1-1 kisebb szeletét választhatja ki, amelyből a Qlik Sense Server egy új, részletesebb lekérdezést generál, ezáltal a „nagy adatmennyiség” probléma redukálódik „kis adat”-ra.

Saját és felhő infrastruktúra

A Qlik egy ökoszisztéma, amely több változatban elérhető.

Felhő infrastruktúrán (Software as a Service – SaaS) ingyenesen elérhető és használható a Qlik Sense Cloud Basic verziója, amire itt tudsz regisztrálni. Ha 5-nél több felhasználóval szeretnéd az elemzéseid megosztani és a teljes funkcionalitást ki akarod használni, akkor elő kell fizetned a Business verzióra, ami jelenleg havi 15 EUR/fő áron elérhető.

A Qlik Sense Desktop ingyenesen használható, elérhető bárki számára. A Desktop nagyszerűen alkalmas dashboardok, vizualizációk készítésére lokálisan, a megosztás azonban vagy Qlik Sense Cloudon vagy Enterprise Serveren keresztül lehetséges.

Az Qlik Sense Enterprise a Qlik Sense server változata. A server változat elérhető különböző konstrukciókban: felhasználó, server vagy előfizetés alapon. A server felinstallálható virtuális gépekre (felhőben) vagy saját fizikai vagy virtualizált környezetre. Saját hardver infrastruktúra esetén az adatok tárolása és kezelése mindvégig saját kézben maradhat.

Kíváncsi vagy, hogy működik a Qlik Sense a gyakorlatban vagy milyen áron érhető el a keretrendszer? Lépj kapcsolatba velünk a http://thebigdataplatform.hu, illetve a http://www.united-consult.hu weboldalakon található elérhetőségeken, a LinkedIn-en, vagy a Facebookon és kérj egy demót!