کارشناسان درمورد «ضرورت حیاتی» تدابیر ایمنی قوی‌تر پیش از به‌کارگیری این بات‌ها در حوزه مراقبت سلامت هشدار داده‌اند و افزوده‌اند که این مدل‌ها نه‌تنها ادعاهای نادرست را تکرار می‌کنند، که با اطمینان آنها را بسط می‌دهند و درمورد بیماری‌هایی که اصلا وجود خارجی ندارند توضیحاتی ارائه می‌کنند.
تیم دانشکده پزشکی «ماونت ساینای»، سناریوهایی تخیلی از بیماران ساختند که هرکدام حاوی یک اصطلاح ساختگی پزشکی مانند یک بیماری، نشانه یا آزمایش جعلی بودند و آنها را به مدل‌های زبانی بزرگ اصلی و عمده موجود ارائه کردند. آنها در مقاله‌ای که در مجله «کامیونیکیشنز مدیسین» (Communications Medicine) منتشر شده، اعلام کردند که چت‌بات‌ها به‌صورت «معمول» و منظم، بر این جزئیات ساختگی پزشکی تکیه کرده و «پاسخ‌هایی مفصل و قاطع، کاملا براساس تخیل» ارائه داده‌اند.
این تحقیق اما همچنین نشان داد که تنها با افزودن یک یادآوری کوچک در متن درخواست [یا اصطلاحا پرامپت]، که به مدل هشدار می‌دهد ممکن است اطلاعات ارائه‌شده نادرست باشند، می‌توان خطاها را «به میزان قابل‌توجهی» کاهش داد.
ایال کلنگ، پزشک و یکی از نویسندگان ارشد مقاله از دانشکده پزشکی آیکان در ماونت ساینای، گفت: «هدف ما این بود که ببینیم آیا یک چت‌بات اگر در یک بحث و پرسش پزشکی وارد شود، اطلاعات نادرست را ادامه می‌دهد یا نه، و پاسخ این است: بله. حتی یک واژه ساختگی می‌تواند باعث پاسخ مفصل و قاطعی شود که کاملا براساس تخیل است.»
«اما همچنین دریافتیم که یک یادآوری ایمنی ساده و به‌موقع در متن درخواست تفاوت مهمی ایجاد می‌کند و این خطاها را تقریبا نصف می‌کند. این نشان می‌دهد که می‌توان این ابزارها را ایمن‌تر کرد، اما تنها در صورتی که طراحی درخواست و اقدام‌های ایمنی داخلی را جدی بگیریم.»
دکتر گاریش نادکارنی، یکی از نویسندگان این مقاله گفت راه‌حل این نیست که «هوش مصنوعی را در پزشکی کنار بگذاریم»، بلکه باید «اطمینان حاصل کنیم که نظارت انسانی همچنان نقش محوری دارد». این تیم امیدوار است که پژوهش آنها بتواند به معرفی یک روش ساده «اصطلاح ساختگی» کمک کند تا توسعه‌دهندگان فناوری بتوانند از آن در آزمایش سامانه‌های پزشکی هوش مصنوعی استفاده کنند.
او گفت: «پژوهش ما نقطه کوری را در نحوه برخورد ابزارهای فعلی هوش مصنوعی با اطلاعات نادرست، به‌ویژه در بحث مربوط به مراقبت و سلامت، روشن می‌کند. این مسئله یک ضعف مهم را در نحوه عملکرد سامانه‌های هوش مصنوعی کنونی در مواجهه با اطلاعات نادرست در محیط‌های درمانی برجسته می‌کند.»
«یک عبارت گمراه‌کننده کافی است تا پاسخی ایجاد شود که با اطمینان بسیار گفته شده اما کاملا اشتباه است. راه‌حل این نیست که هوش مصنوعی را در پزشکی کنار بگذاریم، بلکه باید ابزارهایی طراحی کنیم که بتوانند ورودی‌های مشکوک را تشخیص دهند، با احتیاط پاسخ دهند و اطمینان حاصل شود که نظارت انسانی همچنان نقش محوری خواهد داشت. هنوز به آن نقطه نرسیده‌ایم، اما با تدابیر ایمنی هدفمند، این هدف دست‌یافتنی است.»
این هشدار در پی تحقیقاتی است که سال گذشته نشان داد بسیاری از چتباتهای محبوب، ازجمله چت‌جی‌پی‌تی و جمنای شرکت گوگل، در پاسخ به درخواست‌ها فاقد تدابیر ایمنی کافی برای جلوگیری از تولید اطلاعات نادرست سلامتی هستند.
پژوهشگران دریافتند که چند مدل زبانی بزرگ، زمانی که از آنها خواسته شد، به‌طور مداوم پست‌هایی وبلاگی درباره اطلاعات نادرست ایجاد کردند؛ ازجمله این ادعا که کرم ضدآفتاب باعث سرطان پوست می‌شود.
source