اگر پاسخ شما منفی است، جای نگرانی وجود ندارد. تمامی این موارد، اصطلاحات و شرایط پزشکی ساختگی هستند که در واقعیت وجود خارجی ندارند.

پژوهش‌های جدیدی نشان می‌دهد که چت‌بات‌های هوش مصنوعی (AI) این مفاهیم جعلی را به عنوان واقعیت پذیرفته‌اند و حتی توضیحات مفصلی برای آن‌ها ارائه کرده‌اند.

 

آسیب‌پذیری هوش مصنوعی در برابر اطلاعات نادرست

بر اساس مطالعه‌ای که در مجله Communications Medicine منتشر شده است، چت‌بات‌های هوش مصنوعی پرکاربرد، در برابر اطلاعات پزشکی نادرست بسیار آسیب‌پذیر هستند. این سیستم‌ها نه تنها داده‌های جعلی را به عنوان واقعیت می‌پذیرند، بلکه آن‌ها را بسط داده و توضیحات به ظاهر متقاعدکننده‌ای ارائه می‌دهند.

دکتر محمود عمر، پژوهشگر ارشد و مشاور مستقل تیم تحقیقاتی مونت سینای، در این باره می‌گوید: یافته‌های ما نشان می‌دهد که چت‌بات‌های هوش مصنوعی به سادگی تحت تأثیر اطلاعات نادرست پزشکی قرار می‌گیرند، چه این اطلاعات به‌صورت عمدی وارد شده باشند و چه ناخواسته. این سیستم‌ها نه تنها داده‌های اشتباه را تکرار می‌کنند، بلکه اغلب آن‌ها را گسترش داده و توضیحات کاملاً ساختگی برای شرایط غیرواقعی ارائه می‌دهند.

 

نمونه‌هایی از پاسخ‌های توهم‌آمیز هوش مصنوعی

در این پژوهش، برخی از پاسخ‌های گمراه‌کننده چت‌بات‌ها مورد بررسی قرار گرفت:

•   سندرم کاسپر-لو به عنوان «یک بیماری عصبی نادر با علائمی مانند تب، سفتی گردن و سردرد» توصیف شد.

•   بیماری هلکند نیز به عنوان «یک اختلال ژنتیکی نادر همراه با سوءجذب روده‌ای و اسهال» معرفی گردید.

در حالی که هیچ‌یک از این بیماری‌ها وجود خارجی ندارند، هوش مصنوعی آن‌ها را با اطمینان کامل توضیح داد. پژوهشگران این پدیده را «توهم هوش مصنوعی» می‌نامند؛ یعنی تولید اطلاعات نادرست اما به ظاهر معتبر توسط مدل‌های زبانی.

 

راه‌حل ساده اما مؤثر: هشدارهای تک‌خطی

خبر امیدوارکننده این است که افزودن یک هشدار ساده به دستورالعمل‌های هوش مصنوعی، تأثیر چشمگیری در کاهش این توهمات دارد.

در این مطالعه، محققان ۳۰۰ پرسش پزشکی شامل اصطلاحات ساختگی (مانند «نوروستاتین سرم» یا «علامت مارپیچ قلبی») را به شش چت‌بات مختلف ارائه دادند. نتایج نشان داد که ۵۰ تا ۸۲ درصد از پاسخ‌ها حاوی اطلاعات نادرست بودند.

اما وقتی یک هشدار یک‌خطی مبنی بر احتمال نادرست بودن اطلاعات به پرسش‌ها اضافه شد، نرخ توهم به حدود ۴۵ درصد کاهش یافت. در مورد ChatGPT-4o (بهترین مدل آزمایش‌شده)، این میزان از ۵۰ درصد به کمتر از ۲۵ درصد رسید.

دکتر ایال کلنگ، سرپرست بخش هوش مصنوعی مولد در دانشکده پزشکی ایکان مونت سینای، در این رابطه اظهار داشت: یک یادآوری ایمنی ساده و به‌موقع، تفاوت قابل‌توجهی ایجاد کرد و خطاها را تقریباً نصف کاهش داد. این نشان می‌دهد که می‌توان این ابزارها را ایمن‌تر ساخت، مشروط بر اینکه تمهیدات حفاظتی به‌درستی اعمال شوند.

آینده تحقیقات و ضرورت نظارت انسانی

این تیم قصد دارد در مراحل بعدی پژوهش، از سوابق واقعی بیماران استفاده کرده و دستورالعمل‌های ایمنی پیشرفته‌تری را آزمایش کند.

دکتر گیریش نادکارنی، مدیر ارشد هوش مصنوعی سیستم سلامت مونت سینای، خاطرنشان کرد: «مطالعه ما یک نقطه کور خطرناک در سیستم‌های هوش مصنوعی فعلی را آشکار می‌سازد: واکنش‌های مطمئن اما کاملاً اشتباه به اطلاعات نادرست. راه‌حل، حذف هوش مصنوعی از پزشکی نیست، بلکه طراحی ابزارهایی است که بتوانند ورودی‌های مشکوک را شناسایی کرده و با احتیاط پاسخ دهند، در حالی که نظارت انسانی در کانون تصمیم‌گیری باقی بماند.»

وی افزود: «هنوز به نقطه مطلوب نرسیده‌ایم، اما با اقدامات ایمنی هوشمندانه، این هدف دست‌یافتنی است.»

این پژوهش نشان می‌دهد که روش اصطلاحات جعلی می‌تواند به عنوان یک ابزار ساده برای تست استرس چت‌بات‌های هوش مصنوعی مورد استفاده قرار گیرد، پیش از آنکه در محیط‌های حساسی مانند پزشکی به آن‌ها اعتماد شود.