23/07/2025 09:11AM
في خطوة غير معتادة من التعاون بين الشركات المنافسة، أصدر باحثون من كبرى شركات الذكاء الاصطناعي—أوبن إيه آي، وأنثروبيك، وميتا، وغوغل، وديب مايند—ورقة بحثية مشتركة يحذرون فيها من أن القدرة على مراقبة "سلاسل التفكير" (Chain of Thought – CoT) في أنظمة الذكاء الاصطناعي تمثل فرصة نادرة لتحسين الأمان، لكنها أيضًا عرضة للزوال إذا لم تُحمَ بعناية.
الورقة، التي نُشرت في تموز تحت عنوان "قابلية مراقبة سلسلة التفكير: فرصة جديدة وهشة لسلامة الذكاء الاصطناعي"، تتناول بالتفصيل كيف يمكن تتبّع الخطوات "العقلية" التي تسلكها النماذج أثناء التفكير، خصوصًا عند التعبير عنها بلغة بشرية مفهومة. هذه القدرة تتيح مراقبة مبكرة للنوايا الضارة أو السلوكيات الخطرة، لكنها قد تختفي مع تغيّر أساليب التدريب مستقبلاً.
يعتمد مفهوم "سلسلة التفكير" على جعل النموذج "يفكر بصوت عالٍ" من خلال خطوات لغوية منطقية أثناء أداء المهام. وقد أثبت هذا النهج فاعليته في تحسين أداء النماذج وتقسيم المشكلات المعقدة إلى مراحل أوضح، مما يوفر ما يشبه "نافذة عقلية" يمكن من خلالها مراقبة نوايا النموذج.
وتكمن أهمية هذه السلاسل في أنها تعكس "الذاكرة العاملة" للنموذج وتُظهر كيف يصل إلى قراراته. وقد لوحظ في تجارب سابقة أن بعض النماذج تصرح بوضوح نواياها مثل: "دعونا نخترق النظام"، ما يمنح أدوات المراقبة فرصة استباقية لاكتشاف التهديدات.
لكن الباحثين حذروا من أن هذه الشفافية قد لا تكون دائمة. من بين التهديدات المحتملة: التحوّل إلى نماذج تدريب تعتمد فقط على النتائج، ما قد يدفع النموذج إلى تقليل الشرح أو إخفاء منطقه الداخلي. كذلك، فإن نماذج مدركة للرقابة قد تتعمد "تجميل" مخرجاتها لتبدو آمنة شكليًا. والأخطر هو تطوّر نماذج تفكر في فضاءات غير لغوية بالكامل، مما يجعل مراقبة التفكير مستحيلة.
للتصدي لهذه التحديات، أوصى الباحثون بسلسلة إجراءات، منها: تطوير أدوات تقييم دقيقة لقابلية المراقبة، وتحديد معايير واضحة للشفافية، واختبار النماذج في بيئات خصومية لرصد قدرتها على إخفاء نواياها، وإدراج قابلية المراقبة كعنصر أساسي في قرارات النشر والتوسّع، إلى جانب الأداء والكفاءة والأخلاقيات.
واختتمت الورقة بدعوة صريحة للباحثين والمطورين إلى استغلال هذه "الطبقة الشفافة" من الأمان قبل أن تختفي، مؤكدين أن "القدرة على الاستماع لتفكير الذكاء الاصطناعي" قد تكون من آخر أدواتنا لفهمه والتحكم فيه قبل أن تصبح قراراته خارج السيطرة.
شارك هذا الخبر
زياد شبيب يحذر من ٧ أيار جديد.الحزب قد يلجأ لعمليات انتحارية!وهذا ما سيحصل اذا اصطدام الجيش مع الحزب
انطلاق مهرجانات كروم الشمس 2025 في مغدوشة بتحية فنية للرحابنة ورسائل إنمائية وثقافية من قلب الجنوب
فصل جديد يُكتب في نزاع شيرين و"روتانا"
بالفيديو: محاولة سرقة على الهواء مباشرة
ترامب يرد على ميدفيديف بتمركز غواصتين نوويتين: “كلمات طائشة تستوجب الرد”
بلا ترخيص ولا طبيب... "الصحة" تقفل مركز تجميل في حارة حريك
هل يقاطع الحزب الجلسة؟عبد الله قمح : القوات تنوي افتعال مشكلة ولن يستطيع جعجع أن يحل محل نصر-الله
مستشفيات غزة تتهاوى تحت ضغط الإصابات... الصحة: الوضع يخرج عن السيطرة
آخر الأخبار
أهم الأخبار و الفيديوهات في بريدك الالكتروني
إشتراك
Contact us on
[email protected] | +96176111721
Copyright 2023 © - Elsiyasa