01.1 เอกสาร
PDF, Office, Markdown, HTML, ข้อความ และโค้ด
อัปโหลด PDF แบบข้อความ เอกสาร Word งานนำเสนอ สเปรดชีต ข้อมูล CSV หรือ TSV, Markdown, HTML, log และรูปแบบซอร์สโค้ดทั่วไป
LIBRE / ความรู้ การค้นคืนพร้อมหลักฐาน ขอบเขตที่ตั้งใจออกแบบ
ความรู้
รู้ว่าคำตอบมาจากที่ใด
Libre เปลี่ยนเอกสารที่คุณเข้าถึงได้ให้เป็นบริบทแชตที่ใช้งานได้ โดยไม่ตัดคำตอบออกจากแหล่งที่มา คำที่ตรงยังค้นหาได้ ความหมายที่เกี่ยวข้องช่วยขยายขอบเขต และตำแหน่งที่อ้างอิงยังมองเห็นได้ในบทสนทนา
- ค้นหาด้วยคำสำคัญโดยค่าเริ่มต้น
- BM25
- เวกเตอร์ + คำศัพท์เมื่อเปิดใช้
- แบบผสม
- หน้า สไลด์ ชีต ส่วน
- ระดับแหล่งที่มา
01 การนำเข้า
รูปแบบที่มีประโยชน์ยังคงตำแหน่งในแหล่งที่มา
เอกสารมีประโยชน์ยิ่งขึ้นเมื่อข้อความตัดตอนยังบอกได้ว่าเดิมอยู่ที่ใด Libre รักษาที่มาแบบมีโครงสร้างระหว่างการแยกข้อมูล และไม่ประมวลผลการอัปโหลดที่ไม่เปลี่ยนแปลงซ้ำในขอบเขตเดียวกัน
01.2 ที่มา
เก็บหน้า สไลด์ ชีต หรือส่วนไว้
การแยกข้อมูลบันทึกส่วนของแหล่งที่มา เพื่อให้ข้อความที่ค้นคืนและแผง Sources ระบุตำแหน่งของข้อความอ้างอิงได้ ไม่ใช่เพียงชื่อไฟล์
01.3 การประมวลผลแบบจำกัด
แยกไฟล์ Office โดยไม่ต้องใช้ runtime เอกสารแบบเนทีฟ
DOCX, PPTX และ XLSX ถูกแตกด้วย parser แบบจำกัดใน repository ไบต์ที่เหมือนกันซึ่งอัปโหลดซ้ำในขอบเขตเดียวกันจะถูกตัดรายการซ้ำ
02 การค้นคืน
ค้นหาทั้งตัวระบุและแนวคิด
การค้นคืนด้วยคำสำคัญและเชิงความหมายแก้ปัญหาคนละแบบ Libre รักษาเส้นทางแบบคำศัพท์ไว้เสมอ แล้วรวมกับอันดับเวกเตอร์เมื่อกำหนดค่า embeddings
02.1 คำสำคัญ
BM25 ใช้งานได้เสมอ
ตัวระบุ ชื่อ และคำหายากที่ตรงสามารถจัดอันดับได้โดยไม่ใช้โมเดล embedding หากการสร้าง embedding ล้มเหลวหรือถูกปิด การค้นหาเอกสารยังทำงานแบบคำศัพท์ต่อไป
02.2 แบบผสม
รวมอันดับเวกเตอร์และคำศัพท์
เมื่อเปิด embeddings การรวมอันดับแบบส่วนกลับจะผสานความคล้ายเชิงความหมายกับ BM25 เพื่อไม่ให้ความหมายที่คลุมเครือแซงการตรงคำที่แข็งแรงโดยอัตโนมัติ
02.3 เนื้อหาที่เข้ารหัส
ไม่มีดัชนีข้อความเต็มแบบไม่เข้ารหัสอยู่ข้าง ciphertext
การให้คะแนนแบบคำศัพท์ทำงานในโปรเซสกับส่วนที่ถอดรหัสแล้วซึ่งผู้ขอมีสิทธิ์เข้าถึง Libre ตั้งใจไม่เก็บดัชนี token แบบไม่เข้ารหัสสำหรับส่วนเอกสารที่เข้ารหัส
03 คำตอบ
ใช้บริบทจากแหล่งที่มาในปริมาณที่เหมาะสม
การค้นคืนเป็นค่าเริ่มต้นที่มีประสิทธิภาพ เมื่อภารกิจต้องใช้ไฟล์ทั้งฉบับจริง ๆ บทสนทนาเลือกบริบทเอกสารเต็มได้
03.1 การอ้างอิง
นำตำแหน่งของแหล่งข้อมูลเข้าสู่คำตอบ
ข้อความที่ค้นคืนมีชื่อแหล่งข้อมูล ส่วน คะแนน และตำแหน่งแบบมีโครงสร้าง แผง Sources จัดกลุ่มตำแหน่งที่อ้างอิงไว้ใต้เอกสาร
03.2 โหมดเอกสารเต็ม
อ่านเอกสารที่แยกแล้วทั้งฉบับเมื่อมีพื้นที่พอ
แชตส่งเนื้อหาที่แยกแล้วทั้งหมดแทนข้อความบางส่วนได้ ตัวป้องกัน token ที่กำหนดค่าได้จะกลับไปใช้การค้นคืนเมื่อไฟล์แนบใหญ่เกินไป
03.3 เครื่องมือความรู้
ให้โมเดลค้นหาและอ่านระหว่างหนึ่งรอบ
เครื่องมือในตัวแสดงรายการเอกสารในขอบเขต ค้นหาข้อความที่อ้างอิง และอ่านช่วงแบบจำกัดได้ เพื่อให้โมเดลสำรวจไฟล์ทีละส่วนแทนการรับทั้งหมดตั้งแต่แรก
ดูลูปเครื่องมือ