01.1 Dokumenty
PDF, Office, Markdown, HTML, tekst i kod.
Przesyłaj tekstowe pliki PDF, dokumenty Word, prezentacje, arkusze kalkulacyjne, dane CSV lub TSV, Markdown, HTML, dzienniki i popularne formaty kodu źródłowego.
LIBRE / Wiedza Wyszukiwanie oparte na dowodach Świadome granice
Wiedza
Wiedz, skąd pochodzi odpowiedź.
Libre zamienia dokumenty, do których masz dostęp, w użyteczny kontekst czatu bez odrywania odpowiedzi od źródła. Dokładne terminy pozostają wyszukiwalne, dopasowania semantyczne poszerzają zasięg, a cytowane miejsca są widoczne w rozmowie.
- Domyślnie wyszukiwanie słów kluczowych
- BM25
- Wektorowe + leksykalne po włączeniu
- Hybrydowe
- Strona, slajd, arkusz, sekcja
- Poziom źródła
01 Przetwarzanie
Przydatne formaty zachowują swoje miejsce w źródle.
Dokument jest bardziej użyteczny, gdy fragment nadal wskazuje swoje położenie. Libre przenosi ustrukturyzowane informacje o pochodzeniu przez ekstrakcję i nie przetwarza ponownie niezmienionych plików w tym samym zakresie.
01.2 Pochodzenie
Zachowaj stronę, slajd, arkusz lub sekcję.
Ekstrakcja zapisuje segmenty źródłowe, dzięki czemu pobrane fragmenty i panel Źródła wskazują miejsce pochodzenia twierdzenia, a nie tylko nazwę pliku.
01.3 Ograniczone przetwarzanie
Analizuj pliki Office bez natywnego środowiska dokumentów.
DOCX, PPTX i XLSX są rozpakowywane przez ograniczony parser w repozytorium. Ponownie przesłane identyczne bajty w tym samym zakresie są deduplikowane.
02 Wyszukiwanie
Znajdź identyfikator i ideę.
Wyszukiwanie słów kluczowych i semantyczne rozwiązują inne rodzaje braków. Libre zawsze zachowuje ścieżkę leksykalną, a po skonfigurowaniu embeddingów łączy ją z rankingiem wektorowym.
02.1 Słowo kluczowe
BM25 jest zawsze dostępne.
Dokładne identyfikatory, nazwy i rzadkie terminy mogą być klasyfikowane bez modelu embeddingów. Jeśli generowanie embeddingów zawiedzie lub jest wyłączone, wyszukiwanie dokumentów działa dalej leksykalnie.
02.2 Hybrydowe
Połącz rankingi wektorowe i leksykalne.
Po włączeniu embeddingów fuzja rang wzajemnych łączy podobieństwo semantyczne z BM25, aby niejasny sąsiad semantyczny nie wygrywał automatycznie z mocnym dokładnym dopasowaniem.
02.3 Zaszyfrowana treść
Bez pełnotekstowego indeksu jawnego obok szyfrogramu.
Ocena leksykalna działa w procesie na odszyfrowanych fragmentach dostępnych dla pytającego. Libre celowo nie utrwala indeksu tokenów w tekście jawnym dla zaszyfrowanych fragmentów dokumentów.
03 Odpowiedzi
Użyj właściwej ilości kontekstu źródłowego.
Wyszukiwanie jest wydajnym ustawieniem domyślnym. Gdy zadanie rzeczywiście zależy od całego pliku, rozmowa może zamiast tego użyć kontekstu pełnego dokumentu.
03.1 Cytowania
Przenieś lokalizacje źródeł do odpowiedzi.
Pobrane fragmenty zawierają nazwę źródła, numer fragmentu, wynik i ustrukturyzowane położenie. Panel Źródła grupuje cytowane miejsca pod ich dokumentami.
03.2 Tryb pełnego dokumentu
Przeczytaj cały wyodrębniony dokument, jeśli się mieści.
Czat może wysłać pełną wyodrębnioną treść zamiast wybranych fragmentów. Konfigurowalny limit tokenów wraca do wyszukiwania, gdy załączony materiał jest zbyt duży.
03.3 Narzędzia wiedzy
Pozwól modelowi wyszukiwać i czytać podczas rundy.
Wbudowane narzędzia mogą listować dokumenty w zakresie, wyszukiwać cytowane fragmenty i czytać ograniczone okna, dzięki czemu model bada plik iteracyjnie zamiast otrzymywać wszystko z góry.
Zobacz pętlę narzędzi