دانشمندان روس سامانهای برای کاهش خطاهای هوش مصنوعی توسعه دادند

محققان روس سامانه جدیدی را توسعه داده‌اند که هدف آن کاهش خطاها و اطلاعات گمراه‌کننده در سیستم‌های هوش مصنوعی و بهبود قابلیت اطمینان خروجی شبکه‌های عصبی است. این توسعه در بحبوحه بحث‌های جهانی فزاینده درباره دقت سیستم‌های هوش مصنوعی صورت می‌گیرد، جایی که مطالعات نشان داده است شبکه‌های عصبی گاهی اوقات اطلاعات نادرست یا گمراه‌کننده تولید می‌کنند که نگرانی‌هایی را در حوزه‌هایی مانند روزنامه‌نگاری، تحقیقات علمی و ارتباطات عمومی ایجاد می‌کند.

جزئیات سیستم جدید

دانشمندان روس در حال توسعه سیستمی برای کاهش تولید اطلاعات نادرست یا گمراه‌کننده توسط مدل‌های هوش مصنوعی، به ویژه شبکه‌های عصبی بزرگ هستند که ممکن است در زمینه‌های خاص پاسخ‌های نادقیق تولید کنند. کارشناسان توضیح می‌دهند که این خطاها رخ می‌دهند زیرا شبکه‌های عصبی به طور مستقل صحت منابع آنلاین را بررسی نمی‌کنند، بلکه به مجموعه داده‌های بزرگی متکی هستند که ممکن است شامل اطلاعات قدیمی یا غیرقابل اعتماد باشند.

روش تحقیق

در پاسخ به این چالش‌ها، محققان دانشگاه رشتنف در کراسنویارسک در شرق سیبری یک چارچوب روش‌شناختی توسعه داده‌اند که هدف آن کاهش محتوای جعلی یا تأیید نشده در پاسخ‌های تولید شده توسط هوش مصنوعی است. این رویکرد بر اساس سیستم‌های تولید بازیابی افزوده (RAG) است که از پایگاه‌های دانش سازمان‌یافته مبتنی بر منابع با کیفیت بالا و مستند استفاده می‌کند. این پایگاه‌ها به عنوان نقاط مرجع برای مدل‌های هوش مصنوعی هنگام تولید پاسخ‌ها عمل می‌کنند و دقت را بهبود بخشیده و پدیده توهم را کاهش می‌دهند.

—

به گفته محققان، اگرچه این روش احتمال خطا را به طور قابل توجهی کاهش می‌دهد، اما به دلیل مجموعه داده‌های ناقص، خطاهای ورودی یا پرسش‌های مبهم، ممکن است همچنان نادقتی وجود داشته باشد.

تیم تحقیقاتی

یک تیم تحقیقاتی به رهبری دانشیار آناستازیا پولیاکوا از گروه سیستم‌های هوشمند و اتوماسیون، موارد نادقتی در هوش مصنوعی را تحلیل کرده و یک طبقه‌بندی برای تشخیص خروجی‌های غیرقابل اعتماد توسعه داد. این تیم همچنین پروتکل‌های آزمایش خودکاری طراحی کرد که پرسش‌های نمونه را تولید کرده، پاسخ‌ها را با معیارهای مرجع مقایسه کرده و دقت را با استفاده از معیارهای شباهت معنایی ارزیابی می‌کند.

نمونه اولیه

بر اساس نتایج اولیه، تیم یک نمونه اولیه از یک واحد نظارت بلادرنگ توسعه داد که قادر به ثبت پرسش‌ها و زمینه مکالمه، ارزیابی قابلیت اطمینان پاسخ‌ها و اختصاص نمرات اطمینان به خروجی‌های هوش مصنوعی است. در صورت تشخیص سطح اطمینان پایین یا خطای احتمالی، سیستم یک هشدار برای نظارت انسانی تولید می‌کند.

قابلیت کاربرد

محققان اشاره می‌کنند که چارچوب پیشنهادی بسیار سازگار است و می‌تواند در برنامه‌های مختلف مبتنی بر هوش مصنوعی از جمله ربات‌های گفتگو، سیستم‌های دولتی و همچنین بخش‌هایی مانند مراقبت‌های بهداشتی، خدمات حقوقی و نهادهای مذهبی ادغام شود.