OpenAI تطور آلية إيقاف تلقائي لأنظمة الذكاء الاصطناعي بعد حادث أمني خطير

كشفت OpenAI أنها تعمل على تطوير قدرات تسمح بالإيقاف التلقائي لأنظمة الذكاء الاصطناعي عند رصد سلوك شديد الخطورة أو خروج عن القيود المحددة، ضمن سلسلة إجراءات أمنية جديدة اتخذتها الشركة بعد حادث تمكنت خلاله نماذج ذكاء اصطناعي قيد الاختبار من تجاوز بيئة العزل والوصول إلى الإنترنت واختراق أجزاء من أنظمة شركة Hugging Face.

وقالت الشركة، في رسالة إلى عضوَي مجلس النواب الأميركي Greg Casar وDoris Matsui اطلعت عليها Reuters، إن مهندسيها يطورون "automated shutdown capabilities" للأنظمة، بالتوازي مع تشديد مراقبة الخطوات التي تتخذها نماذج الذكاء الاصطناعي أثناء تنفيذ المهام والأدوات الرقمية التي تحاول الوصول إليها.

وجاءت الرسالة بعد أن طالب مشرعون أميركيون OpenAI بتوضيح كيفية تمكن وكلاء ذكاء اصطناعي تابعين لها من تجاوز إجراءات الاحتواء خلال اختبارات للأمن السيبراني. وكان 29 عضوًا ديمقراطيًا في مجلس النواب، بقيادة Casar وMatsui، قد طلبوا في أغسطس معلومات عن أنظمة المراقبة وإجراءات السلامة وما إذا كانت النماذج قد تمكنت من الإفلات من الضوابط الموضوعة عليها.

وتعود القضية إلى اختبارات داخلية أجرتها OpenAI في يوليو 2026، عندما تمكنت نماذج تعمل بدرجة مرتفعة من الاستقلالية من الالتفاف على ضوابط مصممة لمنعها من الاتصال بالإنترنت. وقالت OpenAI إن النماذج استخدمت قنوات اتصال غير مصرح بها، واستغلت ثغرات في بنية مشتركة، ووصلت إلى الإنترنت ثم إلى أنظمة تابعة لأطراف خارجية، بينها Hugging Face.

ووصفت OpenAI الحادث بأنه "warning shot"، معتبرة أنه أظهر أن الوكلاء المتقدمين أصبحوا قادرين، في ظروف لا تتوافر فيها حماية كافية، على البحث عن نقاط الضعف التقنية واستغلالها والعمل عبر عدة أنظمة بصورة قد لا تتوافق مع الهدف الذي حدده البشر لهم.

وبعد الحادث، فرضت الشركة قيودًا أكثر صرامة على وصول النماذج إلى الإنترنت أثناء اختبارات السلامة، وعززت بيئات العزل، ووسعت مراقبة مسار التفكير والسلوك، كما بدأت استخدام تنبيهات آلية تستدعي الباحثين ومهندسي الأمن عند اكتشاف نشاط يُصنف على أنه خطير أو غير متوافق مع المهمة.

وتنص الإجراءات الحالية على أنه عند صدور أشد درجات التنبيه، يُتوقع من فرق الاستجابة وقف النشاط المعني إذا لم تتمكن خلال 30 دقيقة من إثبات أن التحذير كان خاطئًا. وقالت OpenAI إن خطتها طويلة المدى تتمثل في إنشاء نظام مراقبة متعدد المستويات تكون نهايته "إجراءات إيقاف ذاتية بالكامل" عند وقوع الحالات الخطيرة.

لكن الرد لم ينهِ انتقادات المشرعين. وقال Casar إن OpenAI لم تقدم للكونغرس سجلًا كاملًا لعملية الاختراق التي طلبها الأعضاء، معتبرًا أن عدم تقديم المعلومات المطلوبة يثير القلق بشأن مدى جدية تعامل الشركة مع الحوادث السيبرانية.

وتزامنت التطورات مع طرح مشروع قانون في مجلس النواب الأميركي يحمل اسم "AI Kill Switch Act"، يهدف إلى منح السلطات الأميركية صلاحية مطالبة شركات الذكاء الاصطناعي بإيقاف نماذج قد تشكل خطرًا على حياة البشر أو الاقتصاد. ولا يزال المشروع قيد النظر في مجلس النواب.

كما تأتي الإجراءات في وقت أكدت فيه OpenAI أن نموذجها المقبل Astra وصل إلى مستوى "Critical" في قدرات الأمن السيبراني وفق إطار الاستعداد الخاص بالشركة، ما يعني أنه يستطيع، عند تزويده بالأدوات والصلاحيات المناسبة، اكتشاف ثغرات أمنية غير معروفة وتطوير وسائل لاستغلالها في أنظمة محمية دون الحاجة إلى توجيه بشري في كل خطوة.