اكتشفت شركة Cisco أسبابًا تجعل تقارير الذكاء الاصطناعي المثالية حول حوادث الأمن السيبراني لا ينبغي اعتبارها حقيقة

تستكشف شركة Cisco Talos دقة نماذج اللغة الكبيرة في إعداد تقارير الأمن السيبراني

قامت فرقة استجابة الحوادث التابعة لـ Cisco Talos بإجراء اختبار لتحديد مدى موثوقية نماذج LLM الحديثة (ChatGPT، Claude وGemini) في توليد تقارير فنية عن حوادث إلكترونية. أظهرت النتائج أن حتى أكثر الوثائق "المهنية" مظهرًا تحتوي على أخطاء فعلية وتناقضات وانحرافات.

كيف تم إجراء البحث
* التحضير – قام الباحثون بإرسال ملاحظات خام عن الحادث إلى كل نموذج مع طلب إعداد تقرير.

* النتيجة – أخرجت جميع نماذج LLM وثائق مصقولة بصريًا، لكن عند تحليلها بالتفصيل ظهرت عدم دقة واستنتاجات غير متوقعة.

شرح نيت بورس (Nate Pors)، المدير الأعلى لقطاع استجابة الحوادث في Cisco Talos، النتائج بتفصيل في مدونة الشركة.

لماذا تتخطئ نماذج LLM
تفسر شركة Cisco المشكلات بطبيعتها الاحتمالية: تنبأ النماذج بالكلمة التالية بناءً على أوزان إحصائية بدلاً من فهم المعنى. وفقًا لبورس، تظهر الانحرافات في أربعة اتجاهات:

1. أجزاء بيانات مختلفة
عند كل طلب، يعتمد النموذج على أجزاء مختلفة من المدخل، ما يجعل الحصول على نتائج قابلة للتكرار ومعايير موحدة مستحيلاً.

2. استنتاجات غير متوافقة
قد تؤدي نفس البيانات إلى توصيات مختلفة: في تقرير واحد يُقترح فرض تغيير كلمات المرور عبر المؤسسة بأكملها، بينما في آخر يتم اقتراح تغييرات محددة فقط. غالبًا ما يلتصق النموذج بالتوصية الأولى التي تم توليدها حتى لو كانت غير ملائمة.

3. هيكل غير قياسي
بما أن نماذج LLM تُكوّن النص حرفًا بحرف، قد تحمل الوثائق النهائية هياكل وتنسيقات مختلفة، وهو أمر حاسم في بيئة تتطلب قوالب للرقابة على الجودة.

4. مشاكل نافذة السياق
عند حجم المدخلات التي يتجاوز الحد الأقصى للسياق، قد "ينسى" النموذج معلومات مهمة من بداية الجلسة ويُخرج نتائج غير متوقعة أو مختلطة.

ما يعنيه ذلك للأمن السيبراني
تقر شركة Cisco أنه نظريًا يمكن تحديد المهمة إلى جزء محدد من التقرير، لكن هذا النهج يُحرّم المستخدمين على توفير الوقت. في مجال الحماية الإلكترونية، قد تكلف خطأ صغير حتى مبلغًا كبيرًا. لذلك يجب على مؤلفي الوثائق النهائية التحقق بعناية من كل كلمة وعدم الاعتماد الكامل على توصيات نماذج LLM.

الخلاصة: يمكن لنماذج اللغة الكبيرة توليد تقارير بسرعة، لكن استنتاجاتها تتطلب فحصًا إلزاميًا من قبل المتخصصين لتجنب الأخطاء والاختلافات في سياق حوادث إلكترونية حساس.