رصد الباحثون مؤشرا داخل إحدى وحدات "الانتباه" في نماذج الذكاء الاصطناعي، وهي آلية تساعدها على تحديد المعلومات المهمة عند صياغة الإجابات. وبناء على ذلك، طوروا ما أسموه "معادلة نقطة التحول"، بهدف التنبؤ باقتراب النظام من تقديم إجابة غير مرغوب فيها.
ولا يعني هذا التحول بالضرورة أن تصبح الإجابة خاطئة، بل قد تكون صحيحة واقعيا لكنها ضارة، مثل تقديم معلومات قد تشجع على إيذاء النفس أو تقود إلى قرارات خطيرة.
اختبر الباحثون المعادلة على سبعة نماذج للذكاء الاصطناعي طورتها ثلاث شركات مختلفة، ونجحت في رصد التحول في 18 حالة من أصل 19.
قد تكون التقنية مفيدة خصوصا في القطاعات الحساسة التي تستخدم الذكاء الاصطناعي دون اتصال بالإنترنت، حيث تكون إمكانات التحديث والحماية الخارجية محدودة.
يأمل الباحثون أن يتيح هذا الاكتشاف تطوير أدوات إنذار مبكر تنبّه المستخدمين أو المطورين إلى احتمال صدور إجابات ضارة قبل ظهورها فعليا.
اترك تعليقاً
شاركنا رأيك في الخبر