به گزارش دلچسب
اگر فکر میکنید هر چه هوش مصنوعی میگوید درست است، سخت در اشتباهید. دیپمایند گوگل در تحقیقی کارکرد چتباتهای امروزی را زیر ذرهبین برده و نتایج اصلاً دلنشین نیست. مطابق بنچمارک تازه محققان، حتی گسترش یافتهترین مدلهای هوش مصنوعی جهان نیز نمی توانند از مرز دقت ۷۰ درصد عبور کنند. این امتیاز را میتوان اینطور تفسیر کرد که از هر سه پاسخی که از هوش مصنوعی میگیرید، یکی امکان پذیر غلط باشد، حتی اگر با مطمعنبهنفس کامل گفتن شود.
برخلاف تستهای معمولی که توانایی حل قضیه را میسنجند، بنچمارک FACTS گوگل دیپمایند منحصراً روی دقت و صحت اطلاعات تمرکز دارد. این تست مدلها را در چهار عرصه محک میزند:
- آیا مدل میتواند به سؤالات واقعی فقط با تکیه بر دانش درونی خود جواب دهد؟
- آیا مدل میتواند اطلاعات دقیق را از اینترنت اشکار کند؟
- آیا مدل فقط از متنی که به او داده شده منفعت گیری میکند یا اطلاعات غلط و خیالی اضافه میکند؟
- آیا نمودارها، تصاویر و دیاگرامها را درست میخواند؟
تحقیق دیپمایند گوگل درمورد دقت جوابهای هوش مصنوعی
نتایج مشخص می کند که فاصله بسیاری بین ادعا و حقیقت وجود دارد. در صدر لیست مدل جمینای ۳ پرو گوگل قرار دارد که با امتیاز کلی ۶۹ درصد دقیقترین مدل جاری است. رتبهبندی دیگر رقیب ها را در عکس پایین میبینید:
پاشنه آشیل همه مدلها قسمت چندوجهی می بود؛ جایی که دقت زیاد تر زیر ۵۰ درصد است. این نوشته زیاد دلواپسکننده است، چون کاربران امکان پذیر از هوش مصنوعی بخواهند یک نمودار مالی یا پزشکی را تحلیل کند. اگر چتبات عدد اشتباهی را از یک گزارش بیرون بکشد یا نمودار فروش را برعکس تفسیر کند، عواقب آن در حوزههایی همانند بورس، حقوق و سلامت میتواند فاجعهبار باشد.
درکل تحقیق گوگل میگوید به چتباتهای هوش مصنوعی مطمعن کورکورانه نداشته باشید. اگر خبرنگاری در یک رسانه ۶۹ درصد اوقات راست بگوید، فوراً اخراج میشود؛ اما ما همین سطح اشتباه را از هوش مصنوعی میپذیریم. در شغلهای که با اطلاعات مهمی سروکار دارند (همانند وکلا و پزشکان) منفعت گیری از چتبات بدون نظارت انسانی میتواند زیاد خطرناک و زیانبار باشد.
دسته بندی مطالب
