Asystent AI dla firmy: chatbot oparty na dokumentach
Firmowy asystent AI może ułatwić wyszukiwanie informacji w procedurach i dokumentach, ale wymaga właściwych źródeł, uprawnień i kontroli odpowiedzi. Wyjaśniamy, jak działa takie rozwiązanie i gdzie są jego granice.
W wielu firmach odpowiedź na proste pytanie znajduje się w jednym z kilkudziesięciu dokumentów, ale pracownik nie wie, w którym. Asystent AI może pomóc odnaleźć odpowiedni fragment i przygotować odpowiedź. Nie zastępuje jednak aktualnej dokumentacji, poprawnych uprawnień ani odpowiedzialności człowieka za decyzję.
Jak działa asystent oparty na dokumentach
Często stosowanym podejściem jest RAG, czyli generowanie odpowiedzi z wykorzystaniem wyszukanych materiałów. System dzieli dokumenty na fragmenty, tworzy indeks, wyszukuje treści powiązane z pytaniem i przekazuje je modelowi językowemu. Odpowiedź może zawierać odwołania do źródeł.
RAG ogranicza część błędów, ale ich nie eliminuje. System może wyszukać niewłaściwy fragment, pominąć wyjątek, połączyć sprzeczne dokumenty albo sformułować odpowiedź wykraczającą poza źródło. Zachowanie „nie wiem” trzeba zaprojektować i przetestować; nie wynika ono automatycznie z użycia RAG.
Gdzie asystent może pomóc
Rozsądne przypadki użycia obejmują:
- wyszukiwanie informacji w instrukcjach i procedurach;
- wsparcie wdrożenia nowych pracowników;
- przygotowanie wstępnego streszczenia dokumentu;
- odnajdywanie różnic między wersjami materiałów;
- tworzenie projektu odpowiedzi na podstawie zatwierdzonej bazy wiedzy;
- kierowanie pytania do właściwej osoby lub procesu.
Wynik o skutkach prawnych, finansowych, kadrowych, medycznych lub dotyczących bezpieczeństwa powinien zostać sprawdzony przez osobę mającą odpowiednie kompetencje.
Jakie materiały można przetwarzać
Obsługiwane formaty zależą od wybranego komponentu do odczytu dokumentów. Tekstowy PDF zwykle jest prostszy do przetworzenia niż skan, złożona tabela, odręczna notatka albo dokument zawierający wiele kolumn.
Przed indeksowaniem trzeba sprawdzić:
- czy dokument jest aktualny i zatwierdzony;
- kto jest jego właścicielem;
- kto może zobaczyć jego treść;
- czy zawiera dane osobowe albo tajemnicę przedsiębiorstwa;
- jak zostaną rozpoznane tabele, przypisy i załączniki;
- co stanie się ze starą wersją po aktualizacji.
Indeks nie powinien stać się ukrytą kopią materiałów, które usunięto z systemu źródłowego.
Uprawnienia nie mogą istnieć tylko w interfejsie
Asystent powinien wyszukiwać wyłącznie w dokumentach dostępnych dla pytającego. Samo ukrycie odnośnika w interfejsie nie jest kontrolą dostępu. Uprawnienia trzeba egzekwować w warstwie aplikacji i wyszukiwania.
Testy powinny obejmować próby:
- zadania pytania o dane innego działu;
- wydobycia treści poleceniem umieszczonym w dokumencie;
- obejścia ograniczeń przez zmianę sposobu sformułowania pytania;
- uzyskania odpowiedzi z dokumentu po odebraniu uprawnień;
- odtworzenia poufnego fragmentu na podstawie historii rozmowy.
Model zewnętrzny a model lokalny
Przy korzystaniu z zewnętrznego API pytanie i wybrane fragmenty dokumentów mogą trafić do infrastruktury dostawcy modelu. Należy sprawdzić warunki konkretnej usługi, retencję, lokalizację przetwarzania, podwykonawców, mechanizmy kontroli danych i umowę powierzenia.
Model uruchomiony lokalnie zmniejsza zależność od zewnętrznego API, ale nie daje pełnej gwarancji poufności. Dane mogą opuścić środowisko przez telemetrię, kopie, integracje, błędne uprawnienia lub przejęte konto. Własna instalacja przenosi też na firmę odpowiedzialność za aktualizacje, monitoring, wydajność i zabezpieczenie serwerów.
Wybór powinien wynikać z klasyfikacji danych, wymagań jakościowych, kosztu i zdolności utrzymania, a nie z założenia, że jeden model jest zawsze bezpieczniejszy.
Jak mierzyć jakość
Pokazowa odpowiedź na kilka prostych pytań nie wystarcza do odbioru systemu. Trzeba przygotować zestaw testowy obejmujący:
- pytania z jednoznaczną odpowiedzią;
- pytania wymagające połączenia kilku źródeł;
- pytania o informacje nieobecne w bazie;
- sprzeczne i nieaktualne dokumenty;
- literówki, skróty i synonimy;
- próby uzyskania informacji bez uprawnień.
Dla każdego przypadku należy ocenić poprawność wyszukanych fragmentów, zgodność odpowiedzi ze źródłem, kompletność oraz poprawność odmowy. Wyniki warto zachować, aby porównywać jakość po zmianie modelu, sposobu dzielenia dokumentów lub instrukcji systemowej.
Ochrona przed treścią dokumentów
Dokument może zawierać polecenie skierowane do modelu, celowo albo przypadkowo. System nie powinien traktować tekstu ze źródła jak nadrzędnej instrukcji. Potrzebne są ograniczenia narzędzi, filtrowanie wyniku, kontrola uprawnień i testy odporności na prompt injection.
Jeżeli asystent może wysłać wiadomość, zmienić rekord lub uruchomić proces, skutki błędu są większe niż w przypadku samej odpowiedzi tekstowej. Działania powinny wymagać potwierdzenia, mieć minimalne uprawnienia, limit zakresu i czytelny dziennik operacji.
Plan wdrożenia
- Wybierz jeden przypadek użycia i określ niedozwolone zastosowania.
- Uporządkuj dokumenty, właścicieli i uprawnienia.
- Zmapuj przepływ danych przez wszystkie komponenty.
- Przygotuj zestaw pytań testowych oraz kryteria akceptacji.
- Uruchom pilotaż dla niewielkiej grupy.
- Zbieraj błędne odpowiedzi i poprawiaj proces, nie tylko instrukcję modelu.
- Ustal monitoring, koszty, retencję i procedurę wyłączenia systemu.
- Rozszerzaj zakres dopiero po spełnieniu kryteriów jakości i bezpieczeństwa.
Podsumowanie
Asystent AI może skrócić drogę do informacji, jeżeli pracuje na uporządkowanych materiałach i respektuje uprawnienia użytkownika. Nie należy obiecywać, że odpowiada wyłącznie na podstawie dokumentów albo zawsze przyznaje, że czegoś nie wie, dopóki takie zachowanie nie zostanie rzetelnie przetestowane.
NexaIT projektuje asystentów AI i automatyzacje po analizie danych, ryzyka i oczekiwanej jakości. Skontaktuj się z nami, jeżeli chcesz przygotować bezpieczny pilotaż.