AI Quality Engineer

Náplň práce

• Pomôž nám definovať, čo znamená kvalitné a bezpečné AI riešenie.

• Hľadáme AI Quality Engineera, ktorého primárnou úlohou bude rozvíjať testovanie a evaluáciu AI, ML a agentických riešení. Pri tradičnom softvéri často vieme jednoznačne určiť správny výsledok. Pri AI riešeniach musíme hodnotiť aj spoľahlivosť odpovedí, prácu s kontextom, stabilitu správania a reakcie na hraničné alebo rizikové situácie. Tvojou úlohou bude premeniť tieto očakávania na merateľné kritériá, testovacie scenáre a praktickú evaluačnú metodiku. Zároveň však nehľadáme človeka, ktorý sa chce držať iba úzkej definície testovania. AI projekty sú často nové, nejednoznačné a menia sa počas realizácie, preto potrebujeme niekoho, kto vie ísť za hranice klasickej QA roly a podľa potreby priložiť ruky k dielu aj v ďalších oblastiach projektu.

• Čo ťa u nás čaká
• Definovanie testovacieho a evaluačného prístupu pre AI, ML a agentické riešenia.
• Spolupráca na tvorbe akceptačných kritérií už počas discovery a návrhu riešenia.
• Identifikácia rizikových scenárov, edge cases a neželaného správania AI riešení.
• Návrh a realizácia funkčných, integračných a regresných testov.
• Príprava testovacích dát a evaluačných datasetov.
• Hodnotenie správania AI modelov, agentov a workflow.
• Overovanie spoľahlivosti výstupov, práce s kontextom a stability pri opakovanom spustení.
• Interpretácia výsledkov evaluácie a komunikácia zistení vývojárom, architektom, Data Scientistom a Product Ownerovi.
• Návrh úprav acceptance kritérií, promptov, agentických workflow alebo guardrails.
• Tvorba spoločných testovacích štandardov a praktických pravidiel pre hodnotenie AI riešení.
• Využívanie automatizácie a AI nástrojov pri testovaní.
• Základom roly zostáva kvalita, testovanie a evaluácia AI riešení. Nepôjde však iba o kontrolu funkčnosti aplikácie, ale aj o hodnotenie správania AI, spoľahlivosti výstupov, práce s kontextom a stability výsledkov. Podľa potrieb konkrétneho projektu sa môžeš zapojiť aj do prípravy požiadaviek, návrhu riešenia, práce s dátami, dokumentácie, nastavovania guardrails alebo podpory tímu pri uvádzaní riešenia do praxe.

• Aký človek sa k nám hodí
• Si presný, skeptický a zvedavý človek, ktorý sa nespokojí s povrchným overením riešenia. Pýtaš sa na nejasné očakávania, dokážeš odhaliť slabé acceptance kritériá a nezameníš technicky fungujúce demo za kvalitné produkčné riešenie. Zároveň máš chuť byť súčasťou tímu, ktorý veci nielen kontroluje, ale aj aktívne pomáha dotiahnuť ich do použiteľného stavu a podľa potreby vie priložiť ruky k dielu aj mimo samotného testovania.

• Čo ponúkame
• Prácu na AI riešeniach a platformách s reálnym využitím v banke.
• Priestor skúmať nové technológie a premieňať ich na bezpečné, prevádzkovateľné služby.
• Spoluprácu s odborníkmi z oblasti AI, dát, vývoja, architektúry, cloudu a bezpečnosti.
• Možnosť ovplyvniť technické štandardy a spôsob využívania AI v organizácii.
• Podporu odborného rastu, zdieľania know-how a praktického experimentovania.
• Prostredie, v ktorom sa od ľudí očakáva samostatnosť, otvorená komunikácia a zodpovednosť za výsledok.

Doplňujúce požiadavky:

• Koho hľadáme
• Pozícia je vhodná pre ženy aj mužov
• Máš skúsenosti s test designom, funkčným alebo integračným testovaním.
• Vieš rozložiť komplexný problém na overiteľné a merateľné správanie.
• Máš skúsenosti s test managementom a tvorbou testovacej dokumentácie.
• Rozumieš významu kvalitných akceptačných kritérií a testovacích dát.
• Máš dátovú gramotnosť a základnú orientáciu v API.
• Dokážeš analyzovať výsledky, pomenovať obmedzenia a zrozumiteľne komunikovať zistenia.
• Vieš spolupracovať s biznisom, vývojármi, architektmi a Data Scientistami.
• Zaujímaš sa o AI, LLM alebo testovanie systémov s nedeterministickým správaním.
• Angličtina ti nerobí problém v písomnej ani ústnej komunikácii.

• Výhodou je skúsenosť s AI alebo LLM evaluáciou, tvorbou evaluačných datasetov, automatizáciou testov alebo testovaním agentických riešení.

Ďalšie benefity:

• Práca pre banku najspokojnejších klientov na Slovensku
• Bankové produkty za zvýhodnených podmienok ako aj príspevok do DDS
• Možnosti kariérneho rastu či rozvojového vzdelávania
• Priestor pre dlhodobú spoluprácu
• Dovolenka plus – až 5 dní dovolenky navyše, zľavy od rôznych spoločností či možnosť kúpiť si prioritné akcie Tatra banky
• Dôraz na fyzické ako aj mentálne zdravie – multisport karta, bezplatná psychologická podpora 24/7, dni zdravia a ďalšie
• ESG aktivity či 2 dni voľna na dobrovoľníctvo v spolupráci s nadáciou PONTIS
• Neustály rozvoj firemnej kultúry – dbáme na spokojnosť našich kolegov
• Flexibilný pracovný čas a možnosť homeofficu
• Viac nájdeš v sekcii „Benefity“ na našom kariérnom portáli #Prirodzenenajlepší

V tomto prípade neponúkame jednotnú nástupnú mzdu. Je závislá od skúseností kandidáta, a je predmetom partnerskej dohody počas výberového konania. Minimálna nástupná mzda pre kandidáta začína na 2500 € brutto pri plnom úväzku.