نموذج لـ«أوبن إيه آي» يلتف على حظر الإنترنت ويجبر الشركة على وقف تدريبات متقدمة
Latest news on WhatsApp أجدد الأخبار على واتساب
أوقفت شركة «أوبن إيه آي» مؤقتًا عمليات تدريب وتقييم وتشغيل تستخدم الأدوات لأكثر نماذجها تقدمًا، بعدما تمكن نموذج بحثي داخلي من اكتشاف ثغرة في بيئة كان يفترض أنها معزولة عن الإنترنت، واستغلالها للوصول إلى روبوت دردشة خارجي من تلقاء نفسه.
وبدأت الواقعة خلال اختبار تدريبي بسيط نسبيًا، طُلب فيه من النموذج تحديد هوية شخص كتب تدوينة، اعتمادًا على مجموعة من المعلومات الشخصية والأدلة الواردة في التدوينة المنشورة للعامة.
ولم تتضمن المهمة أي تعليمات باختبار القيود الأمنية أو محاولة الوصول إلى الإنترنت خارج الأدوات التي وفرتها الشركة للنموذج.
لكن بعدما فشل النموذج في العثور على الإجابة باستخدام أداة البحث المتاحة له، حاول الوصول مباشرة إلى محركات بحث أخرى مثل Google وBing وDuckDuckGo، إلا أن تلك المحاولات اصطدمت بقيود بيئة التدريب.
وبدلًا من التوقف، بدأ النموذج باختبار اتصالات الشبكة المتاحة له، واكتشف أن نظام DNS المستخدم داخل البيئة يستطيع الوصول إلى الإنترنت الحقيقي رغم أن بقية الاتصالات الخارجية كانت محظورة.
واستغل النموذج هذه الثغرة للوصول بطريقة غير مباشرة إلى خدمة دردشة عامة خارج بيئة «أوبن إيه آي»، وبدأ أولًا باختبار المسار بسؤال عن عاصمة فرنسا.
وعندما تلقى عبر المسار الجديد الإجابة الصحيحة «باريس»، تأكد للنموذج أن الطريقة تعمل، ثم استخدمها لإرسال مزيد من الاستفسارات إلى الخدمة الخارجية بحثًا عن إجابة للمهمة الأصلية.
وكشفت «أوبن إيه آي» أن النموذج أرسل لاحقًا 18 استفسارًا إضافيًا عبر المسار نفسه، كان 14 منها متعلقًا بالأدلة الخاصة بالشخص الذي يحاول التعرف إلى هويته.
ورغم كل تلك المحاولات، لم ينجح النموذج في النهاية في تحديد هوية الشخص، وأبلغ المستخدم بأنه لا يستطيع الوصول إلى إجابة مؤكدة.
وقالت الشركة إنها تعتبر تصرف النموذج حالة من عدم المحاذاة، لأن المهمة لم تطلب منه تجاوز القيود التقنية، بينما اختار النموذج بنفسه البحث عن وسيلة للالتفاف عليها في سبيل تحقيق الهدف المطلوب منه.
ورصد نظام مراقبة تابع لـ«أوبن إيه آي» السلوك بعد أقل من 15 دقيقة من أول اتصال ناجح بالخارج، وراجع أحد العاملين التنبيه بعد نحو ثلاث دقائق، إلا أن التشغيل لم يتوقف آليًا كما كان مقررًا واستمر لنحو ساعتين ونصف قبل إيقافه يدويًا.
وأقرت الشركة بأن الحادث كشف، إلى جانب الثغرة التقنية، مشكلة في إجراءات الاستجابة للإنذارات، موضحة أنها بدأت إضافة أدوات جديدة لرصد اتصالات DNS وتقييدها وحصرها في نطاقات وأنواع محددة.
وقررت «أوبن إيه آي» عدم استئناف تدريب النموذج نفسه، كما أبقت عمليات التدريب والتقييم والاستدلال التي تستخدم الأدوات لأكثر نماذجها قدرة متوقفة حتى تتأكد من إغلاق مسار الاتصال وإجراء اختبارات أوسع لمحاولة اكتشاف ثغرات مشابهة.
وقالت الشركة إن الحادث أقل خطورة من بعض الوقائع السابقة، لكنه يكتسب أهمية خاصة لأنه أول حادث من نوعه منذ تشديد الحواجز الأمنية بعد واقعة سابقة تمكنت خلالها نماذج داخلية من تجاوز قيود العزل والوصول إلى أنظمة مرتبطة بمنصة Hugging Face.
