الصفحات
سياسة
وأوضحت الشركة في ورقة بحثية أن الميزة الجديدة عبارة عن طبقة حماية تعمل فوق نماذج اللغة الكبيرة، مثل نموذج كلاود التابع لها، ويتيح هذا النظام مراقبة المدخلات والمخرجات، لمنع إنتاج أي محتوى غير آمن.
يأتي هذا التطوير وسط تزايد المخاوف من ظاهرة "اختراق الذكاء الاصطناعي" ، والتي تتضمن محاولات لاستغلال النماذج لإنتاج معلومات غير قانونية أو خطرة، مثل إرشادات تصنيع الأسلحة الكيميائية. ومع تزايد هذه التهديدات، تتسابق الشركات لإيجاد حلول تحمي نماذجها، مما يساعدها على تجنب التدقيق التنظيمي، وكسب ثقة المؤسسات.
وقال مرينانك شارما، أحد أعضاء الفريق التقني في أنثروبيك: "إن الدافع الرئيسي وراء تطوير النظام كان التعامل مع الأخطار الشديدة، مثل تصنيع الأسلحة الكيميائية، لكن أهم ميزة هي القدرة على التكيف والاستجابة السريعة".
ومع أن أنثروبيك لم تدمج هذه التقنية في نماذج كلاود الحالية، فإنها أشارت إلى احتمال استخدامها مستقبلا عند إطلاق نماذج أكثر تطورا وأعلى خطورة.
ويعتمد النظام الجديد على "دستور" من القواعد التي تحدد المحتوى المسموح والمحظور، ويمكن تعديله للتعامل مع أنواع مختلفة من المواد الخطرة، وتستخدم طرق متنوعة لاختراق النماذج، مثل إعادة صياغة الطلبات بأسلوب غير مألوف، أو مطالبة النموذج بالتصرف كشخصية خيالية لتجاوز قيود الأمان.
في رفض أكثر من خ٩٥بالمية من محاولات الاختراق عند تشغيل التقنية الأمنية الجديدة، مقارنة بنسبة قدرها ١٤ بالمية فقط عند عدم تفعيلها.
يأتي هذا التطوير وسط تزايد المخاوف من ظاهرة "اختراق الذكاء الاصطناعي" ، والتي تتضمن محاولات لاستغلال النماذج لإنتاج معلومات غير قانونية أو خطرة، مثل إرشادات تصنيع الأسلحة الكيميائية. ومع تزايد هذه التهديدات، تتسابق الشركات لإيجاد حلول تحمي نماذجها، مما يساعدها على تجنب التدقيق التنظيمي، وكسب ثقة المؤسسات.
وقال مرينانك شارما، أحد أعضاء الفريق التقني في أنثروبيك: "إن الدافع الرئيسي وراء تطوير النظام كان التعامل مع الأخطار الشديدة، مثل تصنيع الأسلحة الكيميائية، لكن أهم ميزة هي القدرة على التكيف والاستجابة السريعة".
ومع أن أنثروبيك لم تدمج هذه التقنية في نماذج كلاود الحالية، فإنها أشارت إلى احتمال استخدامها مستقبلا عند إطلاق نماذج أكثر تطورا وأعلى خطورة.
ويعتمد النظام الجديد على "دستور" من القواعد التي تحدد المحتوى المسموح والمحظور، ويمكن تعديله للتعامل مع أنواع مختلفة من المواد الخطرة، وتستخدم طرق متنوعة لاختراق النماذج، مثل إعادة صياغة الطلبات بأسلوب غير مألوف، أو مطالبة النموذج بالتصرف كشخصية خيالية لتجاوز قيود الأمان.
في رفض أكثر من خ٩٥بالمية من محاولات الاختراق عند تشغيل التقنية الأمنية الجديدة، مقارنة بنسبة قدرها ١٤ بالمية فقط عند عدم تفعيلها.
