علت توهم هوش مصنوعی چیست؟ محققان OpenAI جواب می‌دهند_دلچسب

محققان OpenAI در یک مقاله تحقیقاتی تازه به یکی از بزرگ‌ترین مسائل هوش مصنوعی پرداختند؛ به حرف های آنها، مدل‌های هوش مصنوعی توهم می‌زنند چون راه حلهای استاندارد آموزش و برسی، آن‌ها را به جای اعتراف به عدم قطعیت جواب‌ها، به گمان‌زدن ترغیب می‌کند.

در ابتدا باید بدانیم توهم چیست؛ توهم (Hallucination) وقتی رخ می‌دهد که مدل زبانی با مطمعن اطلاعات نادرست را به‌گفتن حقیقت گفتن می‌کند. این مشکل حتی در گسترش یافتهترین مدل‌ها همانند GPT-5 یا Claude هم دیده می‌شود. اکنون محققان OpenAI در پژوهشی علت این نوشته را تشریح کرده‌اند.

محققان می‌گویند در سیستم برسی جاری مدل‌های هوش مصنوعی، گمان‌زدن یک جواب حتی اگر نادرست باشد بهتر از اعتراف به ندانستن آن است. چون یک گمان شانسی امکان پذیر امتیاز بگیرد، اما گفتن «نمی‌دانم» هیچ امتیازی ندارد. این مشکل گریبان‌گیر همه مدل‌های پیشرو، از GPT-5 خود OpenAI گرفته تا Claude آنتروپیک است و علتمی‌شود کاربران کاملاً نتوانند به چت‌بات‌ها مطمعن کنند.

علت‌ توهم هوش مصنوعی

محققان اتفاق توهم را به یک آزمون چندگزینه‌ای تشبیه می‌کنند. اگر شما جواب سؤالی را ندانید، با گمان شانسی امکان پذیر نمره بگیرید، اما با خالی‌گذاشتن برگه جواب مطمئناً نمره‌تان صفر می‌شود. به همین ترتیب، هنگامی مدل‌های هوش مصنوعی فقطً بر پایه «دقت» (یعنی درصد جواب‌های کاملاً صحیح) مورد برسی قرار می‌گیرند، تشویق خواهد شد که به‌جای گفتن «نمی‌دانم»، گمان بزنند.

محققان در یک نوشته می‌نویسند: «انسان‌ها قیمت ابراز عدم قطعیت را در خارج از مدرسه و در دنیای واقعی یاد می‌گیرند. اما مدل‌های زبانی عمدتاً با منفعت گیری از آزمون‌هایی برسی خواهد شد که عدم قطعیت را جریمه می‌کنند.»

برای نشان‌دادن دقیق‌تر این نوشته، OpenAI دو مدل تازه خود را قیاس کرده است:

این جدول به وضوح مشخص می کند که مدل قدیمی‌تر o4-mini با این که دقت مقداری بالاتری دارد، اما نرخ خطای آن زیاد زیاد تر است، چون تقریباً همیشه گمان می‌زند. در روبه رو، مدل جدیدتر با این که در موارد بیشتری از جواب‌دادن امتناع می‌کند، اما زیاد کمتر دچار توهم می‌شود.

به حرف های محققان، راه‌حل ساده‌ای برای این مشکل وجود دارد: بازطراحی معیارهای برسی. آن‌ها نظر می‌کنند که سیستم‌های امتیازدهی باید به طوری تحول کنند که خطاهای با مطمعن بالا را زیاد تر از ابراز عدم قطعیت جریمه کنند.

اما منشأ توهم‌ها چیست؟ مدل‌های زبانی در مرحله «پیش‌آموزش» با پیش‌بینی کلمه بعدی در حجم عظیمی از متون اینترنتی یاد می‌گیرند. در این داده‌ها، الگوهای ثابتی همانند املای کلمات یا گرامر به راحتی قابل یادگیری می باشند. اما حقایق خاص و کم‌تکرار (همانند تاریخ تولد یک شخص خاص) از هیچ الگوی قابل پیش‌بینی پیروی نمی‌کنند. در نتیجه، مدل در روبه رو با این چنین سؤالاتی، به جای دسترسی به یک حقیقت ثبت‌شده، محتمل‌ترین ترکیب کلمات را بر پایه داده‌های خود «گمان» می‌زند و اینجاست که توهم تشکیل می‌شود.