كيف تختبر روبوت الدردشة اختباراً حقيقياً

تتسلّم معظم الفرق روبوت الدردشة بالطريقة نفسها: تطرح عليه بضعة أسئلة، تبدو الإجابات معقولة، فيُعتمد. هذا الإجراء لا يثبت شيئاً تقريباً.

الإجابة المختصرة

يحتاج التقييم الصحيح لمساعد آلي بالعربية إلى ثلاثة أمور: مجموعة أسئلة ثابتة تُعاد كما هي في كل مرة، ادّعاء صريح لكل سؤال عن المصدر الذي يجب أن تأتي منه الإجابة، وقياس زمن الاستجابة منفصلاً عن زمن الشبكة. بدون هذه الثلاثة، أي تغيير في النظام قد يكسر شيئاً لا ينتبه إليه أحد.

«كانت الإجابة معقولة» ليس معياراً

نظام الردّ يُعيد شيئاً دائماً تقريباً. إن لم يتعرّف على الموضوع أعاد رداً عاماً، وإن تعرّف على الموضوع الخطأ أعاد إجابة صحيحة بذاتها ولا صلة لها بالسؤال.

الحالة الثانية أكثر خداعاً لأنها مقروءة وسلسة. في قياس نظامنا، كان سؤال عن التدريب المؤسسي يُجاب بنصّ الجدول الزمني للمشروع — نصّ صحيح تماماً وغير ذي صلة تماماً. ومن يقرأ الإجابة وحدها لا يرى خطأ.

الحل أن يدّعي كل بند اختبار، بدل «الإجابة كانت جيدة»، أن الإجابة تحوي علامة محددة: مسار الصفحة المقصودة، أو عبارة مميزة من النص المرجعي، أو رقم التواصل. عندها تسقط الإجابة البليغة غير ذات الصلة.

ابنِ مجموعة أسئلة، لا فحوصاً متفرقة

ما نجح عملياً كان قائمة يحمل كل بند فيها أربعة حقول: نص السؤال، اللغة، سلسلة يجب أن ترد في الإجابة، ووسم يوضح ما يقيسه البند.

بلغت قائمتنا ٤٧ بنداً وتغطي:

الأسئلة المعتادة لكل خدمة، بالعربية والفارسية والإنجليزية
السؤال نفسه برسمين مختلفين — بألف همزة وبألف مجردة مثلاً — ويجب أن يصلا إلى الوجهة نفسها. الأساس التقني في لماذا يجيب روبوت الدردشة عن السؤال الخطأ
كل سؤال سبق أن أعطى إجابة خاطئة. العيب المُصلَح بلا بند اختبار يعود
مدخل بلا معنى، للتأكد أن الرد الافتراضي يعمل فعلاً
ادّعاء سلبي: ما لا تقدّمه المؤسسة يجب ألا يُوعَد به

لا تتجاوز البند الأخير. إن لم تقدّموا خدمة ما، على النظام أن يقول ذلك صراحة؛ فالعميل الذي يتصل بناءً على وعد غير صحيح يكلّفكم وقتاً وثقة معاً.

ثلاثة إخفاقات صامتة لا يكشفها إلا الاختبار

١. تحديد المعدّل الذي يُعيد رداً فارغاً. يسمح وسيطنا بعشرين طلباً في الدقيقة لكل عنوان. عند إرسال ٤٢ سؤالاً متتالياً، عاد كل ما بعد البند الحادي والعشرين فارغاً — وهو ما بدا تماماً كخدمة معطّلة، بينما كانت الخدمة سليمة والاختبار خاطئاً. يجب أن تُنفَّذ مجموعة الأسئلة بتباعد، وأن تُسجّل رمز الحالة لا نص الإجابة وحده.

٢. واجهة لا تُفتح أصلاً. من الممكن ألا تُفتح الواجهة لأي مستخدم بينما تجيب الواجهة البرمجية بلا عيب. لا يكشف هذا اختبار برمجي، بل فتح الموقع في متصفح حقيقي والنقر على الزر. وسجلات الخادم تجيب أيضاً: إن لم يصل أي طلب من متصفحات المستخدمين إلى مسار المحادثة خلال أيام، فالواجهة لا تعمل.

٣. معرفة قديمة. إن قُرئت قاعدة المعرفة عند إقلاع الخدمة فقط، يبقى ما أُضيف اليوم غير مرئي حتى الإقلاع التالي. بند الاختبار بسيط: انشر شيئاً جديداً واسأل عنه فوراً.

افصل زمن الخادم عن زمن الشبكة

إن قِسْتَ زمن الاستجابة من جهازك، فما تراه مجموع زمن الشبكة وزمن الخادم. ولمعرفة أيهما يحتاج تحسيناً يلزم قياسان:

طلب لملف ثابت على النطاق نفسه، للحصول على أرضية زمن الشبكة
الطلب نفسه صادراً من داخل الخادم إلى عنوانه المحلي

في قياسنا كان الزمن الكلي من الخارج نحو ٤٠٠ جزء من الألف من الثانية، والطلب نفسه على الخادم من ١٠ إلى ١٤. أي أن معظمه شبكة، وتحسين الشيفرة أكثر ما كان ليغيّر شيئاً للمستخدم. بدون القياس الثاني، كان يمكن أن تُصرف أيام في تحسين الموضع الخطأ.

سجلّ الأسئلة بلا إجابة

كل سؤال عجز النظام عن الإجابة عنه يُضاف إلى ملف. هذه القائمة الوحيدة الموثوقة لفجوات معرفتكم، لأن من لا يحصل على إجابة نادراً ما يشتكي؛ هو ببساطة ينصرف.

نصيحة عملية: احفظوا نص السؤال والوقت واللغة فقط، وضعوا سقفاً لحجم الملف، وراجعوه شهرياً. الأسئلة المتكررة هي قائمة عمل الشهر التالي.

تطبيق ذلك في مؤسسة

نوصي ببناء مجموعة الأسئلة من رسائل المؤسسة الحقيقية لا مما يتخيّله الفريق التقني. رسائل واتساب والرسائل المباشرة والمكالمات المتكررة في الأشهر الستة الماضية هي أدق مصدر متاح لأسئلة عملائكم الفعلية.

ينجح هذا حضورياً أكثر، لأن من يردّ على الهاتف يعرف عادةً ما يسأل عنه الناس فعلاً أكثر من أي وثيقة. يعقد فريقنا في مجمّع البرز للعلوم والتقنية بمدينة كرج هذه الجلسة مع فريق دعم العملاء، ومخرجها هو مجموعة الأسئلة الأولية.

الأسئلة المتكررة

كم بند اختبار يكفي؟

لا رقم سحري، لكن ثلاث مجموعات يجب أن تُغطّى: الأسئلة المعتادة لكل خدمة، وكل عيب سبق اكتشافه، والمدخلات بلا معنى. بدأت قائمتنا بـ ٤٢ بنداً وكبرت مع كل عيب جديد.

كم مرة يجب تشغيله؟

قبل كل إصدار، وبعد كل تغيير في قاعدة المعرفة. التشغيل الكامل يستغرق دقائق، وتلك الدقائق تنقل اكتشاف العيب من بيئة الإنتاج إلى بيئة الاختبار.

هل يمكن أتمتة ذلك؟

نعم، ويجب. سكربت يقرأ قائمة الأسئلة ويرسل الطلبات ويتحقق من الادّعاءات. الملاحظة التقنية الوحيدة أن تُرسَل النصوص العربية من داخل البرنامج لا من سطر الأوامر — بعض الصدفات تفسد الترميز فتبدو النتيجة كعطل في النظام.

ما الفرق بين هذا واختبار موقع عادي؟

في الموقع العادي المخرج الصحيح واحد. في نظام الردّ قد تكون عدة إجابات صحيحة، لذا يجب أن يقع الادّعاء على مصدر الإجابة لا على نصها الحرفي.

هل تصلح الطريقة نفسها لنظام مبني على نموذج لغوي؟

نعم، مع إضافة: بند يتحقق أن النظام يقول صراحةً إنه لا يعرف حين لا يوجد مستند مرجعي. قارنّا المعماريتين ومخاطر كلٍّ منهما في نموذج لغوي أم استرجاع من معرفة المؤسسة.

ماذا لو لم يكن لدينا فريق تقني داخلي؟

ابنوا مجموعة الأسئلة بأنفسكم — فهذا يحتاج معرفة بالعمل لا معرفة تقنية — واعهدوا بالتشغيل الآلي إلى مقاول. ملكية قائمة الأسئلة يجب أن تبقى لديكم، لأنها هي التي تعرّف الجودة.

خدمات قطره ذات الصلة

روبوت دردشة مؤسسي — ردود آلية مبنية على معرفة مؤسستكم
أتمتة العمليات بالذكاء الاصطناعي — إنهاء العمل المتكرر
الرؤية الحاسوبية — استخراج الأرقام من صور الكاميرات
علم البيانات — التنبؤ ولوحات القرار
الروبوتات — التعليمية والخدمية والصناعية
دورات الذكاء الاصطناعي — تدريب عملي للفرق التقنية
التدريب المؤسسي — برامج مبنية على عمليات مؤسستكم
استشارات الذكاء الاصطناعي — من دراسة الجدوى إلى خارطة الطريق
الذكاء الاصطناعي في كرج — جميع الخدمات حضورياً في كرج والبرز