تم تأكيد كليود ميثوس بالاختبارات كقائد في اكتشاف الثغرات، ومع ذلك يظهر أيضًا عيوبًا أخرى

ملخص مختصر

قامت شركة XBOW بتقييم مستقل لنموذج Mythos Preview من Anthropic. أظهرت النتائج أن النموذج يتفوق على النماذج الحالية في اكتشاف ثغرات الكود المصدري والعمل مع الكود الأصلي والهندسة العكسية، لكنه يظهر ضعفاً في تحليل الكود المعزول وتأكيد قابلية تطبيق الثغرات المكتشفة عمليًا. تكلفة تشغيل النموذج لا تزال مسألة: Mythos أغلى من Opus، ومع ذلك عند ميزانية محدودة للرموز أحيانًا يُظهر دقة أفضل.

1. ما الذي فحصته XBOW
- حجم الاختبارات – سلسلة تجارب مستقلة على Mythos Preview.
- السيناريوهات – تدقيق الأنظمة العاملة مع وصول إلى الكود المصدري، تحليل الكود المعزول، الهندسة العكسية وتفاعل مع واجهة المستخدم الرسومية.

2. الاستنتاجات الرئيسية
المؤشر Mythos Preview مقابل النماذج المقابلة اكتشاف الثغرات أفضل مؤشر بين جميع النماذج، خاصة في الكود المصدري والبرمجة الأصلية. أقل دقة، لكنه أحيانًا أكثر موثوقية عند فحص حالات محددة. تقليل الأخطاء الوهمية يزيل المزيد من "النتائج الزائفة" مقارنة بالمُسبقين. غالبًا ما يُصدر تنبيهات كاذبة أكثر. مشاكل في الكود المعزول النموذج يتعامل أقل فعالية بدون سياق النظام. بعض النماذج تعمل أفضل مع التحليل السطرية. تأكيد الثغرات يميل إلى نهج حرفي، أحيانًا يبالغ في قيمة الاكتشافات العملية. أكثر انتقادًا لتطبيقها الحقيقي. الهندسة العكسية والكود الأصلي يُظهر نتائج قوية؛ يفهم جيدًا منطق البرنامج بدون الكود المصدري. أقل دقة في هذه المهام. التفاعل مع واجهة المستخدم لا يجد دائمًا إحداثيات العناصر بدقة، لكنه يحدد بنجاح الإجراءات المطلوبة في المتصفح. بعض النماذج أكثر دقة في تحديد المواقع.

3. التكلفة والفعالية
- التسعير – أعلنت Anthropic أن Mythos سيكلف خمسة أضعاف Opus.
- التحليل الاقتصادي قامت XBOW بتجارب مع نماذج "رخيصة"، منحتها مزيدًا من وقت التشغيل. أظهرت النتائج أنه عند التوحيد حسب التكلفة، لا يبدو عمل Mythos Preview مضيعة للموارد في مهام الدقة العالية.
- المقاييس – بميزانية ثابتة للرموز يتفوق Mythos على Opus 4.6 في بحث ثغرات الويب، لكنه يفتقر إلى GPT5.5.

4. الخلاصة
يُظهر Mythos Preview قوة استثنائية في تدقيق الكود المصدري والبرامج الأصلية، وكذلك في مهام الهندسة العكسية وتحليل تطبيقات الويب. ومع ذلك، يقلل النموذج أحيانًا من قابلية تطبيق الثغرات المكتشفة عمليًا ويظهر ضعفاً في تحليل الكود المعزول. مع موارد رموز محدودة قد يكون Mythos أكثر فائدة من Opus، لكن عند ميزانية كاملة يظل GPT5.5 منافسًا.

استنتاج XBOW: Mythos Preview هو أداة موثوقة لاكتشاف الثغرات المحتملة في الكود المصدري والأنظمة المعقدة، لكنه يتطلب تأكيدًا إضافيًا لقيمة التطبيقات العملية للثغرات المكتشفة.