01.1 Tài liệu
PDF, Office, Markdown, HTML, văn bản và mã.
Tải lên PDF dạng văn bản, tài liệu Word, bài thuyết trình, bảng tính, dữ liệu CSV hoặc TSV, Markdown, HTML, nhật ký và các định dạng mã nguồn phổ biến.
LIBRE / Kiến thức Truy xuất kèm bằng chứng Ranh giới có chủ đích
Kiến thức
Biết câu trả lời đến từ đâu.
Libre biến tài liệu bạn có thể truy cập thành ngữ cảnh trò chuyện hữu ích mà không tách câu trả lời khỏi nguồn. Thuật ngữ chính xác vẫn tìm kiếm được, kết quả khớp ngữ nghĩa mở rộng phạm vi và vị trí được trích dẫn luôn hiển thị trong cuộc trò chuyện.
- Mặc định tìm kiếm theo từ khóa
- BM25
- Vectơ + từ vựng khi được bật
- Kết hợp
- Trang, trang chiếu, trang tính, phần
- Cấp độ nguồn
01 Tiếp nhận
Định dạng hữu ích giữ nguyên vị trí trong nguồn.
Tài liệu hữu ích hơn khi đoạn trích vẫn cho biết vị trí ban đầu. Libre duy trì nguồn gốc có cấu trúc trong suốt quá trình trích xuất và tránh xử lý lại bản tải lên không thay đổi trong cùng phạm vi.
01.2 Nguồn gốc
Giữ nguyên trang, trang chiếu, trang tính hoặc phần.
Quá trình trích xuất ghi lại các phân đoạn nguồn để đoạn trích được truy xuất và thanh Nguồn có thể xác định vị trí xuất phát của một nhận định—không chỉ tên tệp.
01.3 Xử lý có giới hạn
Phân tích tệp Office mà không cần môi trường chạy tài liệu gốc.
DOCX, PPTX và XLSX được giải nén bằng trình phân tích có giới hạn trong kho mã. Các byte giống hệt được tải lại vào cùng phạm vi sẽ được loại bỏ trùng lặp.
02 Truy xuất
Tìm cả định danh lẫn ý tưởng.
Truy xuất từ khóa và ngữ nghĩa giải quyết các kiểu bỏ sót khác nhau. Libre luôn duy trì đường dẫn từ vựng, rồi kết hợp với xếp hạng vectơ khi embedding được cấu hình.
02.1 Từ khóa
BM25 luôn khả dụng.
Định danh chính xác, tên và thuật ngữ hiếm có thể được xếp hạng mà không cần mô hình embedding. Nếu việc tạo embedding thất bại hoặc bị tắt, tìm kiếm tài liệu vẫn tiếp tục theo từ vựng.
02.2 Kết hợp
Kết hợp xếp hạng vectơ và từ vựng.
Khi bật embedding, phương pháp hợp nhất thứ hạng đối ứng kết hợp độ tương đồng ngữ nghĩa với BM25 để một kết quả gần nghĩa mơ hồ không tự động vượt qua kết quả khớp chính xác mạnh.
02.3 Nội dung được mã hóa
Không có chỉ mục toàn văn dạng rõ bên cạnh bản mã.
Chấm điểm từ vựng chạy trong tiến trình trên các đoạn đã giải mã mà người yêu cầu có thể truy cập. Libre chủ động tránh lưu chỉ mục token dạng rõ cho các đoạn tài liệu được mã hóa.
03 Câu trả lời
Sử dụng lượng ngữ cảnh nguồn phù hợp.
Truy xuất là lựa chọn mặc định hiệu quả. Khi tác vụ thực sự phụ thuộc vào toàn bộ tệp, cuộc trò chuyện có thể chọn ngữ cảnh toàn bộ tài liệu.
03.1 Trích dẫn
Đưa vị trí nguồn vào câu trả lời.
Đoạn trích được truy xuất bao gồm tên nguồn, đoạn, điểm và vị trí có cấu trúc. Thanh Nguồn nhóm các vị trí được trích dẫn theo tài liệu.
03.2 Chế độ toàn bộ tài liệu
Đọc toàn bộ tài liệu đã trích xuất khi vừa giới hạn.
Cuộc trò chuyện có thể gửi toàn bộ nội dung đã trích xuất thay vì các đoạn được chọn. Bộ bảo vệ token có thể cấu hình sẽ quay lại truy xuất khi tài liệu đính kèm quá lớn.
03.3 Công cụ kiến thức
Cho mô hình tìm kiếm và đọc trong một lượt.
Công cụ tích hợp có thể liệt kê tài liệu trong phạm vi, tìm đoạn được trích dẫn và đọc cửa sổ có giới hạn để mô hình điều tra tệp từng bước thay vì nhận mọi thứ ngay từ đầu.
Xem vòng lặp công cụ