برمجيات تقرأ العربية كما يكتبها الناس لا كما تُكتب في الكتب

تُبنى الكلمات العربية من جذور مع سوابق ولواحق وضمائر متصلة، فقد تحمل كلمة مكتوبة واحدة معنى عبارة إنجليزية كاملة. وغالباً ما تُحذف الحركات القصيرة، فتصبح كثير من الكلمات ملتبسة حتى يحسمها السياق. وتتغير أشكال الحروف بحسب موضعها، ويتنوع الكتّاب في صور الألف وفي حروف نهاية الكلمات. والمسار الذي يتجاهل ذلك سيعدّ الكلمة الواحدة خمس كلمات مختلفة.

وتضيف اللهجة طبقة أخرى. الفصحى مستخدمة في المستندات الرسمية، لكن العملاء يكتبون بالخليجية والنجدية والحجازية وغيرها، وغالباً مختلطة بالإنجليزية وأحياناً بحروف لاتينية. لا نختار نموذجاً ونأمل خيراً. نوسم عينة من نصوصك، ونجرب عدة مقاربات عليها، ونختار بناءً على نتائج مقيسة: الدقة والاسترجاع وأنواع الأخطاء، مع تقرير منفصل للنص الرسمي واللهجة والنص المختلط.

في المهام الضيقة ذات الحجم الكبير، مثل توجيه الشكوى إلى الإدارة المختصة، يكون النموذج الصغير المدرّب غالباً أسرع وأرخص وأكثر قابلية للتنبؤ من نموذج لغوي كبير. وفي المهام المفتوحة، كتلخيص عقد طويل أو استخراج بند تختلف صياغته في كل مرة، يتفوق النموذج الكبير عادة بأمثلة قليلة حسنة الاختيار. وتستخدم أنظمة كثيرة الاثنين معاً: مصنّف صغير أولاً، ونموذج أكبر لما تبقى فقط.

نعرض المفاضلة بالأرقام: الدقة على مجموعة اختبارك، والتكلفة لكل ألف مستند، والسرعة، وكلفة إعادة التدريب حين تتغير فئاتك. وجهد الوسم هو محرك التكلفة الحقيقي. يكفي عادة من خمسمئة إلى ألفين من الأمثلة الموسومة لأول مصنّف مفيد، ويستطيع موظفوك وسمها في أيام قليلة بأداة نوفرها.

النص العربي الصادر عن العملاء أو الموظفين أو المرضى بيانات شخصية. وينظم نظام حماية البيانات الشخصية جمعها وحفظها ونقلها، وتنشر سدايا (الهيئة السعودية للبيانات والذكاء الاصطناعي) النظام ومبادئ أخلاقيات الذكاء الاصطناعي المحيطة به. نبقي العينة الموسومة داخل بيئتك، ونزيل الأسماء والمعرّفات قبل إرسال أي نص إلى خدمة خارجية، ونوثّق ما عولج وأين.

وحيث يكون النص حساساً، يمكن استضافة النماذج الصغيرة والمتوسطة على بنية تحتية داخل المملكة فلا يخرج شيء من البلد. يُسلَّم المسار مع مجموعة الاختبار وسكربت التقييم وملفات النموذج المدرّب، فتستطيع إعادة التدريب دوننا. يستغرق أول مسار من أربعة إلى ثمانية أسابيع، ويستغرق برنامج متعدد المصادر بالبحث والاستخراج ولوحات المتابعة من ثمانية إلى ستة عشر أسبوعاً.