هذیان هوش مصنوعی چیست و چرا در مسائل مالی و حقوقی اهمیت دارد؟
مدل‌های هوش مصنوعی گاهی پاسخی تولید می‌کنند که از نظر نگارشی کاملاً طبیعی، منطقی و حتی قانع‌کننده است؛ اما بخشی از اطلاعات آن اشتباه است.
این پدیده معمولاً با اصطلاح Hallucination یا «هذیان هوش مصنوعی» شناخته می‌شود.
در بسیاری از کاربردها، یک اشتباه کوچک ممکن است فقط باعث اتلاف چند دقیقه زمان شود. اما اگر موضوع سؤال مالیات، بیمه، قانون کار، قرارداد یا یک تصمیم مالی باشد، پاسخ نادرست می‌تواند هزینه بسیار بیشتری ایجاد کند.
هذیان هوش مصنوعی یعنی چه؟
مدل زبانی اساساً برای تولید ادامه مناسب متن طراحی شده است.
وقتی سؤال مطرح می‌کنیم، مدل تلاش می‌کند بر اساس الگوهایی که آموخته است، محتمل‌ترین و مناسب‌ترین پاسخ را تولید کند.
این فرایند الزاماً به معنی مراجعه مدل به یک پایگاه داده قطعی و پیدا کردن «پاسخ صحیح» نیست.
به همین دلیل ممکن است مدل:
- ماده قانونی نادرستی را ذکر کند؛
- شماره بخشنامه‌ای را اشتباه بیان کند؛
- دو مقرره مختلف را با یکدیگر ترکیب کند؛
- تاریخی غیرواقعی ارائه دهد؛
- استثنای مهم یک قانون را نادیده بگیرد؛
- یا حتی منبعی را معرفی کند که وجود خارجی ندارد.
مسئله مهم‌تر این است که پاسخ اشتباه لزوماً با لحن مردد ارائه نمی‌شود.
مدل ممکن است همان پاسخ را با اطمینان کامل بیان کند.
چرا پاسخ اشتباه این‌قدر طبیعی به نظر می‌رسد؟
در گفت‌وگوی انسانی معمولاً از میزان اطمینان گوینده برای ارزیابی پاسخ استفاده می‌کنیم.
اگر کسی بگوید:
> «فکر می‌کنم شاید این قانون مربوط به ماده فلان باشد.»
می‌فهمیم که خودش هم مطمئن نیست.
اما مدل زبانی ممکن است اطلاعات نادرست را در قالب جمله‌ای بسیار مرتب و قطعی بیان کند.
بنابراین روان بودن متن، دلیل درستی اطلاعات نیست.
این تفاوت یکی از مهم‌ترین نکاتی است که کاربران ابزارهای هوش مصنوعی باید بدانند.
چرا این موضوع در مقررات اهمیت بیشتری دارد؟
فرض کنید از یک ابزار هوش مصنوعی می‌پرسید:
> آیا برای یک نیروی پاره‌وقت باید بیمه ارسال کنم؟
یا:
> آیا این قرارداد مشمول مالیات یا بیمه پیمان است؟
در چنین سؤالاتی یک پاسخ اشتباه ممکن است بعداً منجر به:
- مطالبه حق بیمه؛
- جریمه مالیاتی؛
- اختلاف با کارمند؛
- مشکل در بازرسی؛
- یا هزینه یک پرونده حقوقی
شود.
بنابراین در مسائل تخصصی، کیفیت نگارش پاسخ تنها یکی از معیارهاست.
امکان بررسی مبنای پاسخ اهمیت بیشتری دارد.
چگونه احتمال خطا را کاهش دهیم؟
هیچ روش واحدی خطای هوش مصنوعی را کاملاً حذف نمی‌کند، اما می‌توان احتمال و اثر آن را کاهش داد.
سؤال را دقیق مطرح کنید
به‌جای:
> درباره اخراج کارمند توضیح بده.
بنویسید:
> کارمند شرکت ما قرارداد شش‌ماهه دارد و هنوز دو ماه از قرارداد باقی مانده است. شرکت به علت مشکلات عملکردی قصد خاتمه همکاری دارد. چه مواردی را از نظر قانون کار باید بررسی کنیم؟
هرچه مسئله روشن‌تر باشد، احتمال پاسخ کلی یا نامرتبط کمتر می‌شود.
از مدل منبع بخواهید
اگر موضوع مهم است، فقط نتیجه را نپذیرید.
بپرسید:
> مبنای قانونی این پاسخ چیست؟
یا:
> کدام ماده، آیین‌نامه یا بخشنامه به این موضوع مربوط است؟
منبع را واقعاً بررسی کنید
اینکه هوش مصنوعی نام یک قانون را ذکر کرده به معنی وجود یا ارتباط قطعی آن نیست.
اگر تصمیم مهمی در میان است، متن منبع را نیز ببینید.
تاریخ مقررات را بررسی کنید
ممکن است پاسخ در گذشته درست بوده اما مقرره جدیدی آن را تغییر داده باشد.
در حوزه‌هایی مانند مالیات، بیمه، گمرک و مقررات بانکی این موضوع اهمیت زیادی دارد.
RAG چگونه می‌تواند کمک کند؟
یکی از روش‌های کاهش وابستگی پاسخ به حافظه داخلی مدل، استفاده از معماری Retrieval-Augmented Generation یا RAG است.
در این روش، سیستم قبل از تولید پاسخ به دنبال اسناد مرتبط می‌گردد و بخش‌های مناسب آن‌ها را در اختیار مدل قرار می‌دهد.
بنابراین مدل برای پاسخ‌گویی فقط به اطلاعاتی که در زمان آموزش آموخته متکی نیست.
البته RAG نیز خطاناپذیر نیست.
اگر سند اشتباه بازیابی شود یا مقرره مهمی در پایگاه دانش وجود نداشته باشد، پاسخ همچنان ممکن است ناقص باشد.
اما امکان مشاهده و بررسی منابع، قابلیت ارزیابی پاسخ را بسیار بهتر می‌کند.
آیا باید به هوش مصنوعی اعتماد کنیم؟
پرسش بهتر این نیست که:
> آیا هوش مصنوعی قابل اعتماد است یا خیر؟
بلکه باید پرسید:
> برای این تصمیم خاص، چه میزان اطمینان لازم داریم و چگونه می‌توانیم پاسخ را بررسی کنیم؟
برای تهیه یک متن تبلیغاتی، سطح ریسک بسیار پایین است.
برای تصمیم درباره اخراج کارمند، یک پرونده مالیاتی یا قرارداد چند میلیاردی، شرایط کاملاً متفاوت است.
اصل ساده
هوش مصنوعی می‌تواند سرعت دسترسی به اطلاعات را به شکل چشمگیری افزایش دهد.
اما در موضوعات مهم:
پاسخ را نقطه پایان تحقیق در نظر نگیرید؛ آن را نقطه شروع بررسی بدانید.
هرچه هزینه اشتباه بیشتر باشد، اهمیت مشاهده منبع و بررسی انسانی نیز بیشتر است.