Klient niečo chce, ale vy viete, že chce niečo iné

Po prvej výmene názorov a vysvetlení očakávaní zákazníka nastala situácia, pred ktorou sa často nachádza obchodník a konzultant dodávateľa. Klient niečo chce, ale vy viete, že chce niečo iné.
Klient chce „len“ vyskúšať konkrétnu rodinu štatistických algoritmov a zistiť na malej vzorke dát či mu výsledky otvárajú priestor pre rozvoj a investície v oblasti predikcie nových obchodných príležitostí, alebo je to slepá cesta. Zároveň výpočty môžu trvať aj dni, podstatný je výsledok. Naprogramovaný výsledok musí byť open-source, alebo v prípade hotových komponentov je možné použiť len open-source.

Skúsenosti z mnohých projektov hovoria, že „len“ je v skutočnosti požiadavka zákazníka, že to nemá byť drahé a má to trvať krátko. Pre dodávateľa to znamená, že z pohľadu výskumu a know-how musí do projektu dať minimálne 90% toho, čo by investoval do veľkého (tisíce dní práce) projektu.
Druhá požiadavka, že čas spracovania nehrá rolu, znamenala, že zákazník nemá žiadnu robustnú infraštruktúru a jeho predstava je, že riešenie bude fungovať na bežných počítačoch. Pre dodávateľa to znamená, že v projekte nie je žiaden rozpočet na infraštruktúru.
Požiadavka na open-soruce je v súčasnosti štandard. Firmy sa už naučili, že open-soruce neznamená zadarmo, ale znamená to hlavne minimalizáciu rizika vendor lock-in https://en.wikipedia.org/wiki/Vendor_lock-in – závislosti na jednom dodávateľovi. Open-source zároveň minimalizuje právne riziká vychádzajúce z rôznych temných zákutí autorského práva a patentov.

Hľadáme riešenie

Späť ale k dileme obchodníka. Dalo by sa túto situáciu čítať rôzne. V mojom prípade som si možnosti vyhodnotil nasledovne.

1. Môžem striktne dodržať zákazníkove požiadavky a pokúsiť sa byť medzi potenciálnymi dodávateľmi najlacnejší. Predpokladaný budget niekde medzi riadkami trčí a všetky zdroje na projekt by sa sústredili do naprogramovania algoritmu a pokus zvládnuť predloženú dátovú vzorku v rozumnom čase.
   Túto možnosť ja osobne volám Preteky ku dnu (dno ceny a dno kvality) a nie je väčšinou výhodná ani pre zákazníka. Takého plytvanie s potenciálom si môže dovoliť len štátna správa na Slovensku viď https://slovensko.digital/.
   Korporácie majú tú výhodu, že vedia využiť potenciál dodávateľa aj počas samotného obstarávania a cena nemusí byť jediný ukazovateľ.
   Rozhodnutie opustiť túto alternatívu nastalo po internom overení technologických možností. Požadovanú vzorku dát sme otestovali v štatistickom prostredí R https://www.r-project.org/  a použili sme jeden z požadovaných algoritmov – Apriory https://en.wikipedia.org/wiki/Apriori_algorithm, ktorý nám pri prvom pokuse zrútil aplikáciu na nedostatku pamäti. Zákazník mal na vstupe skutočné Big Data a Apriory algoritmus nie je jeden z tých, ktorý „zabúda“ počas svojho behu na predchádzajúce iterácie. Potrebuje veľa zdrojov.
   Rozhodnutie vyrábať implementáciu známeho algoritmu v rámci nášho EEA interného vývoja, ktorá bude lepšia ako implementácia z akademického projektu R by bolo chvíľu zábavné – zaprogramovali by sme si, ale v kontexte obchodného uvažovania by to bola cesta do pekla. Na druhej strane sme vedeli, že väčšina našej konkurencie pôjde slepo po zadaní. My sme sa rozhodli zákazníka naučiť niečo nové.
2. Druhá možnosť mohol byť pokus zmeniť zákazníkove vnímanie problematiky a pokúsiť sa zmeniť zadanie obstarávania. V prípade väčšieho zákazníka sa už rozbehnutý vlak ťažko zastavuje. Museli sme sa pokúsiť v rámci existujúceho rámca navrhnúť funkčné riešenie.
3. Jediná pre nás viditeľná možnosť, bolo využitie existujúcich riešení s už implementovanými algoritmami využívajúcimi parallel-computing https://en.wikipedia.org/wiki/Parallel_computing. Požiadavka na open-source nám zjednodušilo výber platformy. Na rodinu Apache a R riešení. Požiadavka na možnosť spracovania skutočných Big data nám vyradila možnosť použitia Rka. Stratégia bola na svete. Použijeme Apache Spark https://spark.apache.org/ a existujúce implementácie algoritmov MLlib https://spark.apache.org/mllib/. Pokúsime sa zákazníka presvedčiť, že využitie robustnejšej platformy bude dobrá investícia do budúceho rozvoja projektu. Nebudeme najlacnejší, ale budeme najperspektívnejší dodávateľ.

Výpočet na pár minút?

Asi by som nepísal tento príbeh, keby sme daný tender nevyhrali. Takže v skratke. Zákazník dostal v rámci predstavenia riešenia demo v podobe Docker virtuálneho servera, do ktorého sa dali namapovať zdrojové datasety a z príkazového riadku bolo možné spustiť algoritmus, ktorý vygeneroval výsledky do výsledného datasetu. Veľmi zaujímavé výsledky… Výpočet netrval dni, trval rádovo jednotky minút. Zákazník dostal od nás ponuku, že v rámci riešenia dostane virtualizované výpočtové prostredie, ktoré bude obsahovať okrem existujúcich implementovaných algoritmov niekoľko rozhraní pre implementáciu vlastných algoritmov, hlavne pre spracovanie vstupných datasetov a namapovanie výstupov výpočtov na zdrojové dáta  = aplikovanie poznania zo štatistiky na skutočnosť zákazníka (o tom ale budú blogy v budúcnosti).

Zároveň ponuka obsahovala webové grafické prostredie Zeppelin https://zeppelin.apache.org/, ktoré umožní prístup k platforme cez web prehliadač a sprístupní riešenie množstve dátových analytikov súčasne. Zeppelin umožní zjednotiť na úrovni jednej obrazovky množstvo platforiem a ide o veľmi perspektívny nástroj na zabezpečenie frontend integrácie systémov aj mimo Spark výpočtovú platformu.

Ako to dopadlo?

Po viac ako roku spolupráce má zákazník vybudované oddelenie, ktoré spracováva obchodné dáta z celého sveta. Má k dispozícii informácie o miliónoch transakcií z rôznych trhov a rôznych segmentov až po informácie o samotných transakciách produktov smerom na zákazníkov.

Využitie ML algoritmov pomáha obchodu spoločnosti identifikovať nových zákazníkov. V súčasnosti systém poskytuje informácie o tom, ktorému zákazníkovi sa oplatí ponúknuť daný produkt a s akou pravdepodobnosťou si ho kúpi. Odhady na začiatku boli, že dosiahneme úspešnosť takýchto obchodných odporučení pod 50% a cieľ bol dosiahnuť aspoň 40%. Dnes sa výsledky pohybujú v pásme medzi 80-98% úspešnosti, čo prekonalo akékoľvek očakávania. ML ale nie je nový mozog, čo nahradí existujúcich obchodníkov. ML sa len vie učiť a opakovať.

To, aby bolo možné algoritmy používať viac-menej v reálnom čase je podstatné zvoliť vhodné vstupné parametre. Ak sú parametre nastavené „nízko“ algoritmus nedáva žiadne výsledky, ak sa nastavia „vysoko“ výstupov a kombinácii výsledkov môže byť blízko k nekonečnu a výpočtový aparát sa zasekne, zahltí, alebo minimálne nedá odpovede, ktoré by bolo možné rozumne interpretovat. Tu je obrovský priestor pre UI. Niekedy aj tisícina v hodnote parametra rozhoduje o tom, či algoritmus „funguje“. V tejto oblasti má EEA niekoľko unikátnych konceptov a riešení. Vieme bežne dostupné algoritmy „ochrániť“ umelou inteligenciou, ktorá sa priebežne učí ako prebiehajú výpočty na daných zákazníckych dátach. Efektivita takto optimalizovaného a zabezpečeného výpočtového aparátu môže byť hlavný argument, či je dané algoritmy vôbec možné s danými dátami a požiadavkami použiť. V tomto je portfólio EEA originálne a v súčasnosti nás odlišuje od konkurencie.

Sedliacky rozum a Machine learning

ML je honosný buzzword ako naznačujem na začiatku blogu. Ide o obyčajnú štatistiku zapojenú do vhodne implementovaných algoritmov. A bez rozumnej požiadavky a vhodných dát nemá pre používateľov žiadnu hodnotu. Na druhej strane ak existuje rozumná požiadavka u zákazníka a dáta, ktorými disponuje majú potenciál zlatej rudy. ML môže byť tou zlatou baňou, ktorá dokáže business zákazníka posunúť na novú úroveň. To či sa zákazník nachádza v situácii v ktorej mu ML môže pomôcť v dosahovaní jeho cieľov je otázka pre skúsených expertov v tejto oblasti, alebo je to o pochopení štatistiky ako takej a jej potenciálu v danej doméne v ktorej sa zákazník pohybuje.

Ak by som to mal zhrnúť ML a UI nie je nič nové.
Ak majú byť efektívne nasadené ide o klasickú poctivú prácu v oblasti konzultingu, informatiky a matematiky. Bez schopnosti používať sedliacky rozum a danej doménovej znalosti sú to prázdne pojmy. Za určitých podmienok je to ale obrovská príležitosť a dnes je možné odlíšiť sa od konkurencie len v málo odtieňoch. Nasadenie ML a UI môže byť ten odtieň, ktorý Vás môže posunúť vpred.

Ak máte pocit, že by ste vedeli v tejto oblasti uvažovať o vybudovaní Vašej zlatej bane. Kľudne sa na nás obráťte. Niekoľko ich už prevádzkujeme a budujeme. klik kontakt

Gabriel Lachmann