01.1 المستندات
PDF وOffice وMarkdown وHTML والنص والشفرة.
حمّل ملفات PDF النصية ومستندات Word والعروض التقديمية وجداول البيانات وبيانات CSV أو TSV وMarkdown وHTML والسجلات وتنسيقات الشفرة المصدرية الشائعة.
LIBRE / المعرفة استرجاع مدعوم بالأدلة حدود مقصودة
المعرفة
اعرف من أين جاءت الإجابة.
يحوّل Libre المستندات التي يمكنك الوصول إليها إلى سياق مفيد للمحادثة من دون فصل الإجابة عن مصدرها. تبقى المصطلحات الدقيقة قابلة للبحث، وتوسع المطابقات الدلالية نطاق الوصول، وتظل المواقع المقتبسة ظاهرة في المحادثة.
- البحث بالكلمات المفتاحية افتراضيًا
- BM25
- متجهي + معجمي عند التفعيل
- هجين
- صفحة، شريحة، ورقة، قسم
- على مستوى المصدر
01 الإدخال
تحافظ التنسيقات المفيدة على موقعها في المصدر.
يكون المستند أكثر فائدة عندما يستطيع المقتطف الإشارة إلى موضعه الأصلي. يحافظ Libre على معلومات المصدر المنظمة خلال الاستخراج ويتجنب إعادة معالجة الملفات غير المتغيرة ضمن النطاق نفسه.
01.2 تتبع المصدر
احتفظ بالصفحة أو الشريحة أو الورقة أو القسم.
يسجل الاستخراج أجزاء المصدر كي تتمكن المقتطفات المسترجعة ولوحة Sources من تحديد موضع الادعاء، لا اسم الملف فقط.
01.3 معالجة محدودة
حلّل ملفات Office من دون runtime مستندات أصلي.
تُفك ملفات DOCX وPPTX وXLSX بواسطة محلل محدود داخل repository. ويُزال تكرار البايتات المتطابقة عند رفعها مجددًا إلى النطاق نفسه.
02 الاسترجاع
اعثر على المعرّف والفكرة.
يعالج الاسترجاع بالكلمات المفتاحية والاسترجاع الدلالي أنواعًا مختلفة من النتائج المفقودة. يحافظ Libre على المسار المعجمي متاحًا دائمًا ثم يدمجه مع الترتيب المتجهي عند إعداد embeddings.
02.1 الكلمات المفتاحية
يتوفر BM25 دائمًا.
يمكن ترتيب المعرّفات والأسماء والمصطلحات النادرة من دون نموذج embeddings. وإذا فشل إنشاء embeddings أو عُطّل، يستمر البحث في المستندات بالمسار المعجمي.
02.2 هجين
ادمج الترتيب المتجهي والمعجمي.
عند تفعيل embeddings، يدمج دمج الرتب المتبادلة التشابه الدلالي مع BM25 حتى لا يتفوق تطابق دلالي غامض تلقائيًا على تطابق دقيق قوي.
02.3 محتوى مشفر
لا يوجد فهرس نص كامل مكشوف بجانب النص المشفر.
يعمل التقييم المعجمي داخل العملية على الأجزاء المفكوكة التي يحق للطالب الوصول إليها. ويتجنب Libre عمدًا حفظ فهرس token مكشوف لأجزاء المستند المشفرة.
03 الإجابات
استخدم المقدار المناسب من سياق المصدر.
الاسترجاع هو الخيار الفعال افتراضيًا. وعندما تعتمد المهمة فعلًا على الملف بأكمله، يمكن للمحادثة اختيار سياق المستند الكامل.
03.1 المراجع
انقل مواقع المصادر إلى الإجابة.
تتضمن المقتطفات المسترجعة اسم المصدر والجزء والدرجة والموقع المنظم. وتجمع لوحة Sources المواقع المقتبسة تحت مستنداتها.
03.2 وضع المستند الكامل
اقرأ المستند المستخرج كاملًا عندما يتسع.
يمكن للمحادثة إرسال كامل المحتوى المستخرج بدل المقاطع المختارة. ويعيد حاجز token قابل للإعداد النظام إلى الاسترجاع عندما تكون المواد المرفقة أكبر من اللازم.
03.3 أدوات المعرفة
دع النموذج يبحث ويقرأ خلال الجولة.
يمكن للأدوات المدمجة سرد المستندات ضمن النطاق، والبحث في المقاطع المقتبسة، وقراءة نوافذ محدودة كي يفحص النموذج الملف تدريجيًا بدل تلقي كل شيء مقدمًا.
شاهد حلقة الأدوات