Temat: Semantyczne wyszukiwanie (Retrieval Augmented Generation)

manager24.pl 1 tydzień temu
Jednym z kluczowych wyzwań dla zarządzania wiedzą w organizacjach są koszty. Z jednej strony, koszt dodawania nowej wiedzy do korporacyjnych baz danych, a z drugiej – koszt wyszukiwania wiedzy, co często prowadzi do racjonalnej ignorancji. Pracownik, który ma dodać wiedzę, musi ją odpowiednio zredagować, skatalogować, dodać tagi, określić zakres obowiązywania (np. terminy aktualności), a także upewnić się, iż treść zawiera słowa najważniejsze ułatwiające późniejsze
wyszukiwanie. jeżeli jednak mało kto korzysta z bazy wiedzy, pracownicy mogą uznać, iż szkoda ich czasu w wprowadzanie danych.
Podobnie, pracownik szukający wiedzy musi wpisać adekwatne zapytanie, przeszukać listę dokumentów, czasami ponownie formułując pytanie, gdy nie znajdzie odpowiednich wyników. W efekcie może wystąpić zjawisko racjonalnej ignorancji – gdy koszt wyszukiwania nowej wiedzy pomnożony przez szansę jej znalezienia przewyższa wartość uzyskanej informacji. Wtedy
pracownik może dojść do wniosku, iż łatwiej zadzwonić do kolegi, niż przeszukiwać bazę wiedzy.
W wyniku działania tych dwóch postaw, bazy wiedzy często pozostają puste lub zawierają mało wartościowe informacje, co sprawia, iż ich utrzymanie jest nieopłacalne.
Tak wyglądała sytuacja na początku XXI wieku, gdy wraz z zespołem wprowadziliśmy na rynek pierwszy polski system zarządzania wiedzą – Pyton. Mimo iż narzędzie technicznie wydawało się fantastyczne, wykorzystywało zaawansowane algorytmy analizy języka naturalnego, ale biznesowo okazało się porażką.
W 2022 roku sytuacja uległa zmianie dzięki wprowadzeniu wielkich modeli językowych (LLM – Large Language Models). Dzięki ich zaawansowaniu nie trzeba już szczegółowo opisywać dokumentów wrzucanych do bazy wiedzy, ponieważ model może to zrobić za człowieka, np. automatycznie proponując tagi dokumentu. Wystarczy wczytać dokument, a system sam
udostępni go do wyszukiwania. Wyszukiwanie również stało się prostsze i skuteczniejsze – można prowadzić rozmowę z bazą wiedzy, jakby zatrudniało się sztucznego mentora. Wierzę, iż dzięki redukcji kosztów dodawania i wyszukiwania wiedzy, popularność baz wiedzy ma szansę wzrosnąć, dostarczając rzeczywistą wartość.
W architekturze RAG użytkownik wchodzi do bazy wiedzy i zadaje pytanie językiem naturalnym, np. „Co wpływa na innowacyjność pracowników?”. System zamienia to pytanie na wektor (embedding) – zbiór wartości reprezentujący znaczenie zdania. Wektor ten jest porównywany z innymi wektorami zapisanymi w bazie, które reprezentują dokumenty lub ich fragmenty. W rezultacie użytkownik otrzymuje listę dokumentów odpowiadających na jego pytanie. Tak działa pierwszy krok RAG – wyszukiwanie semantyczne, które dobrze sobie radzi choćby w przypadku języków mocno fleksyjnych, jak polski, gdzie dokumenty mogą być zapisane np. po angielsku.
W kroku drugim zapytanie użytkownika wraz z fragmentami z bazy wiedzy staje się promptem do modelu LLM (przykładowo GPT, Gemini, Claude, Mixtral, Bielik). W odpowiedzi LLM prowadzi z użytkownikiem dialog, który przypomina rozmowę z mentorem, ale w rzeczywistości polega na przetwarzaniu tekstów semantycznie dopasowanych do zapytań użytkownika.
Bazy wiedzy stworzone na tej zasadzie mogą zawierać setki dokumentów dotyczących różnych obszarów, jak innowacja, przywództwo, zarządzanie projektami i wiele innych, co znacznie zwiększa ich użyteczność i wartość w organizacjach.
Rosnące zainteresowanie sztuczną inteligencją w różnych sektorach gospodarki oraz potrzeba automatyzacji procesów biznesowych zwiększają zapotrzebowanie na specjalistów. W odpowiedzi na te zmiany, w Centrum Kształcenia Podyplomowego Uczelni Łazarskiego powstał nowy kierunek studiów podyplomowych “Analityk AI w biznesie”. Studia w szczególności kierowane są do członków zespołów IT, członków projektów optymalizacyjnych i automatyzacyjnych, kierowników projektów wdrażających narzędzia informatyczne, analityków biznesowych i systemowych oraz do kadry menedżerskiej. Program studiów łączy teorię z praktyką, oferując naukę zaawansowanych narzędzi analitycznych, które są niezbędne do optymalizacji procesów i strategii biznesowych. Zajęcia prowadzone są przez doświadczonych praktyków z branży, co gwarantuje dostęp do najnowszych trendów i technologii AI oraz możliwość nawiązania wartościowych kontaktów w branży. Analityk AI to nowy gorący zawód stojący pomiędzy tzw. biznesem, a technologią w projektach AI.
Idź do oryginalnego materiału