تیمی از محققان دانشگاه پردو تحقیقاتی را در کنفرانس تعامل کامپیوتر و انسان اراعه کردند که مشخص می کند ۵۲ درصد از جواب‌های برنامه‌نویسی تشکیل‌شده توسط ChatGPT نادرست می باشند.

تعداد بسیاری از برنامه‌نویسان در سال‌های تازه به منفعت گیری از هوش مصنوعی برای نوشتن و تکمیل کد‌های خود روی آورده‌اند و این نوشته ضربه‌ی بزرگی به سایت‌هایی همانند Stack Overflow داخل کرده است. Stack Overflow ناچار به اخراج ۳۰ درصد از کارکنان خود در سال قبل شد.

محققان دانشگاه پردو بیشتر از ۵۱۷ سوال را در Stack Overflow بازدید و تلاش ChatGPT برای جواب به آن‌ها را تجزیه و تحلیل کردند. نتایج نشان داد که ۵۲ درصد از جواب‌ها حاوی اطلاعات نادرست و ۷۷ درصد از جواب‌ها بیشتر از حد طویل بودند. علاوه‌بر این، ۷۸ درصد از جواب‌ها ناسازگاری‌هایی با جواب‌های انسانی داشتند.

محققان دانشگاه پردو با نظرسنجی از ۱۲ برنامه‌نویس دریافتند که ۳۵ درصد آن‌ها جواب‌های ChatGPT را ترجیح خواهند داد و ۳۹ درصد اشتباهات تشکیل شده توسط این هوش مصنوعی را تشخیص نمی‌دهند. برنامه‌نویسان علت این اتفاق را جواب‌های مؤدبانه، منظم، جامع و مرحله ‌به ‌مرحله‌ی ChatGPT گفتن کردند.