2025 m. gruodžio 8 d., 13 val.
Vilnius, Akademijos g. 4, 203 kab.
Nuotoliniu būdu „MS Teams“ aplinkoje (https://bit.ly/DMSTI_2025-12-08)
Mantas Briliauskas
(doktorantūros studijų rezultatų pristatymas,
vadovas prof. dr. Virginijus Marcinkevičius)
„Offline Reinforcement Learning with IQL“
Anotacija: Pranešimo tikslas - supažindinti auditoriją su offline stiprinamojo mokymosi (Offline RL) ypatumais, kai politika (strategija) mokoma naudojant iš anksto surinktus simuliacijų duomenis. Šių algoritmų išskirtinumas tas, kad jie siekia pranokti strategiją, kuri buvo taikyta mokymo duomenims surinkti. Pirmoje dalyje trumpai prisiminsime stiprinamojo mokymosi pagrindus ir palyginsime online ir offline RL paradigmas. Antroje dalyje susipažinsime su Actor-Critic architektūra ir apžvelgsime vieną pažangiausių offline RL metodų - Implicit Q-Learning (IQL).
Darius Sabaliauskas
(doktorantūros studijų rezultatų pristatymas,
vadovė doc. dr. Jolanta Miliauskaitė)
„Informacijos paieška papildytu generavimu grindžiamas BERT tipo modelių kokybės gerinimo tyrimas reikalavimų inžinerijoje“
Anotacija: Reikalavimų inžinerijos (RE) srityje klausimų–atsakymų (angl. Question Answer, QA) modeliai vis dažniau naudojami reikalavimų specifikacijų analizei, tikrinimui ir sprendimų priėmimui automatizuoti. Nors iš anksto apmokyti QA modeliai, tokie kaip DistilBERT SQuAD, arba hibridiniai modeliai, derinantys BERT kontekstines įterptis su LSTM sekų modeliavimu, yra kokybiški, reikalavimų specifikacijos kelia papildomų iššūkių. Todėl kyla klausimas, ar informacijos paieška papildytas generavimas (angl. Retrieval-Augmented Generation, RAG) išties yra naudingas, kai jau turime iš anksto apmokytus QA modelius RE duomenimis?
Pranešime pristatysime mūsų tyrimą, kuriame įvertinome penkias RAG strategijas, t.y. BM25 Lexical Retrieval, Dense Retrieval, Semantic Reranking with Cross-Encoder, Graph-Enhanced RAG ir Multi-Hop Retrieval.
Remiantis eksperimentais atliktais su RE srities klausymų-atsakymų rinkiniu testuojant QA modelius, aptarsime, kaip kiekvienas modelis veikia atsakymų tikslumą pagal standartinius vertinimo rodiklius.
Rezultatai parodė, kad nors tam tikrais atvejais – ypač esant fragmentuotam tekstui ar išsklaidytai informacijai iš konteksto po kelis segmentus – pažangesni RAG metodai, tokie kaip Dense Retrieval ir Multi-Hop Retrieval padaro tam tikrą pagerėjimą, bet bendras RAG poveikis nėra geresnis už gerai apmokintą bazinį QA modelį. Kai klausimui atsakyti pakanka jau turimo konteksto, papildomas išorinės informacijos įtraukimas gali net pabloginti rezultatą, įvedant nereikalingą triukšmą.
Pranešimo tikslas – šiuo pranešimu siekiama pateikti RAG naudą specializuotose QA modelio užduotyse, taip pat, pateikiant RAG taikymo rekomendacijas šiose užduotyse.