فراموشی ماشین در هوش مصنوعی: روشها، چالشها و یافتههای جدید محققان

فراموشی ماشین یا یادگیریزدایی، به عنوان یکی از مباحث حیاتی در حوزه هوش مصنوعی، به منظور حذف تأثیر دادههای خاص از مدلهای آموزشدیده بدون نیاز به آموزش مجدد کامل توسعه یافته است. این رویکردها در دو دسته کلی تیک و تجربی طبقهبندی میشوند و هر کدام مزایا و محدودیتهای خاص خود را دارند.

حریم خصوصی دیفرانسیل پایه نظری فراموشی

حریم خصوصی دیفرانسیل (DP) با دو پارامتر اپسیلون و دلتا سنجیده میشود. اپسیلون حساسیت مدل نسبت به تغییرات دادهها را کنترل میکند و هرچه کوچکتر باشد، حریم خصوصی قویتری فراهم میآورد. دلتا نیز احتمال نقض حریم خصوصی را تعیین میکند. پیادهسازی رایج DP شامل محدودسازی بزرگی گرادیانها و افزودن نویز به دادههای آموزشی است تا تأثیر هر نمونه داده در خروجی نهایی محو یا کاهش یابد. با این حال، افزایش نویز میتواند دقت کلی مدل را کاهش دهد، مشابه پنهان کردن چهره افراد در جمع برای حفظ حریم خصوصی که تشخیص سایر اشخاص را نیز دشوار میسازد.

فراموشی تجربی با فضای مثالی شناختهشده

در این روش، فراموشی با قدمهای افزایشی و تنظیم پارامترها بر روی دادههای مشخص انجام میشود. مثال بارز، مسابقه ۲۰۲۳ بود که در آن شرکتکنندگان باید با استفاده از مدل اولیه، مجموعه دادهها و نمونههای هدف برای فراموشی، مدلهایی بسازند که رفتارشان با مدلهای آموزشدیده تنها روی دادههای باقیمانده همخوانی داشته باشد. برندگان از ترکیبی از گرادیان صعودی روی دادههای فراموششناس، گرادیان نزولی روی دادههای حفظشده، برچسبگذاری تصادفی، افزودن نویز به حافظه، بازتعیین وزنها و راهاندازی مجدد لایههای اول و آخر استفاده کردند. سادگی و سرعت اجرا مزیت اصلی این روشهاست، اما عدم اطمینان از رفتار ایدئال مدل پس از فراموشی چالشی مهم محسوب میشود.

فراموشی تجربی با فضای مثالی ناشناخته

وقتی دادههای هدف برای فراموشی به مفاهیم پراکنده، سبک هنری یا مجموعه مقالات یک منبع خبری در دادههای آموزشی وجود دارند، شناسایی و حذف کامل آنها دشوار میشود. در این سناریوها، تکنیکهایی مانند ویرایش مدل، جراحی مدل و یادگیریزدایی دانش به کار میروند. راهکارها شامل یافتن مثالهای مشابه برای آموزش مجدد، تشکیل جایگزینهای مفهومی، جهتدهی حرکات مدل به اجتناب از اطلاعات هدف و محدودسازی ارتباطات بین دادههای فراموششونده و سایر دادههاست. این روشها تضمین حذف کامل را نمیدهند و فرآیند یادگیریزدایی خود نیز ممکن است قابل یادگیریزدایی باشد.

خواست مستقیم از مدل برای فراموشی

محققان نشان دادهاند که مدلهای زبانی بزرگ نظیر میتوانند از طریق پرامپتهای طراحیشده، فراموشی را تظاهر کنند. سه رویکرد اصلی عبارتند از خواست صریح در پیام سیستمی برای تظاهر به عدم شناخت اطلاعات عمومی، روش نمونهمحور با ارائه مثالهای مصداق نادرست برای تغییر باور مدل، و سیستمهای چندمدلی که یک مدل هماهنگکننده خروجی مدلهای تخصصی را بر اساس های فراموشی فیلتر و تدوین میکنند. نقد اصلی به این روشها عدم ارائه مدرک یا تضمین برای فراموشی واقعی است؛ برخی کارشناسان استدلال میکنند که حتی انسانها نیز دادهها را به طور کامل فراموش نمیکنند، بلکه تصمیم میگیرند از دانستههای قبلی در موقعیتهای خاص استفاده نکنند.

چالشها و محدودیتهای فراموشی ماشین

نیاز به منابع محاسباتی گرانبها

یادگیریزدایی در مدلهای مقیاسبزرگ مانند و BERT که با میلیاردها پارامتر آموزش دیدهاند، هزینههای زمانی و محاسباتی را میبرد که معادل آموزش مجدد کل مدل است. وابستگی به سختافزار قدرتمند نظیر کارتهای گرافیکی و پردازندههای تنسور، شرکتهای کوچک را از پیادهسازی این تکنیکها منصرف میکند.

قطعی نبودن حذف کامل دادهها

دادههای آموزشی به صورت پیچیده در وزنها و پارامترها گنجانده شدهاند. حتی پس از حذف، اثرات غیرمستقیم و الگوهای پنهان ممکن است باقی بمانند. برای مثال، یک مدل زبانی با دادههای سوگیرانه آموزشدیده، ممکن است پس از حذف آن دادهها، همچنان الگوهای سوگیرانه را نشان دهد. راهکارهای تقریبی تضمین حذف کامل نمیدهند که در مواجهه با مقررات حقوقی الزامآور، اعتبار مدل را به چالش میکشد.

تأثیر منفی بر کارکرد مدل

مهمترین چالش عملی، کاهش دقت و کارایی مدل پس از فراموشی است. تحقیقات نشان میدهد حذف دادههای خاص میتواند مدل را حتی در انجام وظایف ساده ناتوان سازد. در مدلهای تشخیص تصویر، حذف تصاویر افراد میتواند دقت کلی را در آن دسته کاهش دهد. اضافهکردن نویز یا تغییر گرادیانها اگرچه حساسیت به دادههای خاص را کاهش میدهد، اما دقت کلی را نیز تحت تأثیر منفی قرار میدهد. محققان در جستجوی تعادل بین حذف دادهها و حفظ دقت پاسخگویی هستند، به ویژه در حوزههای حساس مانند تشخیص پزشکی.

نبود ابزارهای ارزیابی دقیق میزان فراموشی

ارزیابی موفقیت یادگیریزدایی به دلیل پیچیدگی ساختاری و وابستگیهای داخلی مدلها، بسیار دشوار است. ابزارهای فعلی عمدتا دقت کلی را میسنجند و قادر به تشخیص ردپاهای کوچک و غیرمستقیم دادههای حذفشده در مدل نیستند. محققان توسعه معیارهای جدیدی را ضروری میدانند که وابستگی مدلهای تغییر یافته به دادههای حذفشده را به دقت بسنجند.

هنر فراموشی مطالعات دنیای واقعی

مطالعهای مشترک محققان دانشگاههای واشنگتن، پرینستون، شیکاگو، جنوبی کالیفرنیا و شرکت گوگل نشان میدهد که محبوبترین تکنیکهای فراموشی فعلی، هر یک به نحوی کارایی مدلها را کاهش میدهند، تا حدی که گاهی مدلها پس از اعمال تغییرات قابل استفاده نمیگردند. ویجیا شی، محقق حوزه یادگیریزدایی و دانشجوی دکترای علوم کامپیوتر دانشگاه واشنگتن، بیان میکند که روشهای جاری برای بهرهبرداری معنادار یا پیادهسازی در سناریوهای واقعی آماده نیستند. تیم او با طراحی معیار MUSE (ارزیابی ششگانه یادگیریزدایی ماشین) و آزمایش هشت الگوریتم متنباز، توانایی مدلها را در دو بعد عدم حضور دادههای حذفشده در پاسخها و فراموشی دانش کلی مرتبط، ارزیابی کردند. نتایج میکند که هیچ روش کارآمدی وجود ندارد که به مدل اجازه دهد دادههای خاص را فراموش کند بدون اینکه کارایی به طور چشمگیر کاهش یابد.