در این سند صرفا بر هوش مصنوعی همه‌منظوره (GPAI) تمرکز دارد، یعنی سیستم‌هایی که قادر به انجام طیف وسیعی از وظایف شناختی مانند مدل‌های زبانی، چندوجهی و عوامل خودمختار هستند.

گفتنی‌ست در سند مورد نظر، از ورود به مباحث سیاسی پرهیز شده و صرفا جنبه‌های فنی ایمنی و کنترل سیستم‌ها مورد نظر قرار گرفته است.

 

سه محور اصلی ایمنی فنی هوش مصنوعی

بر اساس سند مزبور، تحقیقات فنی ضروری در سه زمینه اصلی طبقه‌بندی خواهند شد:

 

۱. ارزیابی ریسک

توسعه روش‌های ارزیابی و پیش‌بینی خطرات ناشی از سیستم‌های هوش مصنوعی باید اولویت نخست باشد، که شامل طراحی شاخص‌ها و معیارهایی برای شناسایی قابلیت‌های خطرناک، تحلیل سناریوهای پرریسک، و ایجاد چارچوب‌هایی شبیه به آنچه در صنایع هسته‌ای و هوانوردی استفاده می‌شود، است.

یکی از دغدغه‌های مطرح‌شده، «معضل شواهد» است؛ یعنی تعادل میان اقدام زودهنگام در برابر تهدیدها و اجتناب از تصمیم‌گیری بر پایه شواهد ناکافی.

 

۲. طراحی سیستم‌های قابل اعتماد

دومین محور، ساخت سیستم‌هایی است که از نقطه نظر طراحی ایمنی تضمین‌شده هستند، بلکه واقعاً در عمل به آن پایبندند.

هدف بلندمدت، ساخت سیستم‌های هوش مصنوعی با ایمنی تضمین‌شده است، برای مثال از طریق سنتز برنامه قابل تأیید یا مدل‌های جهانی رسمی با اثرات محیطی قابل اثبات. این رویکردها هنوز در مراحل اولیه‌ی خود هستند.

 

۳. نظارت پس از استقرار

سومین بخش به نظارت و مداخله پس از استقرار سیستم‌ها می‌پردازد. از جمله پیشنهادها، توسعه مکانیسم‌های نظارتی مقیاس‌پذیر، ابزارهای اصلاح‌پذیری (corrigibility)، خاموش‌کننده‌ها، و ایجاد زیرساخت‌هایی برای ردیابی مدل‌ها و احراز هویت عوامل هوش مصنوعی است. همچنین بر مقابله با مدل‌های خطرناک متن‌باز و ابزارهای تولید دیپ‌فیک از طریق واترمارک‌گذاری و ثبت وقایع تأکید شده است.

شایان ذکر است که تهیه و نگارش ویرایش این گزارش را چهره‌های برجسته‌ای مانند یوشوا بنجیو (MILA)، استوارت راسل (UC Berkeley) و مکس تگمارک (MIT) بر عهده داشته‌اند.

همچنین پژوهشگرانی از نهادهایی نظیر Tsinghua، Berkeley، OpenAI، DeepMind و MILA در تدوین آن مشارکت داشته‌اند.

منبع: the-decoder