أجريت دراسة حديثة من قبل باحثين في جامعتي Stanford و Berkeley الأمريكيتين لاستعراض أداء نموذج اللغة الكبير GPT، والذي يُستخدم في روبوت الدردشة ChatGPT التابع لشركة OpenAI. وكشفت الدراسة أن ChatGPT أصبح أقل ذكاءً بشكل غير متوقع، على عكس التصريحات الرسمية للشركة.
وخلال فترة تجربة النموذجين GPT-3.5 و GPT-4 على مدار بضعة أشهر، لاحظ الباحثون تغييراً كبيراً في سلوكهما، حيث انخفضت دقة ردودهما بشكل ملحوظ. وتؤكد هذه النتائج ملاحظات المستخدمين الذين رأوا تدهورًا واضحًا في أداء النماذج بعد تحديثها.
وفي شهر مارس 2023، كان الإصدار GPT-4 قادرًا على تحديد الأعداد الأولية بدقة تصل إلى 97.6 في المئة، لكن في يونيو 2023 انخفضت دقته بشكل كبير إلى 2.4 في المئة. وأظهرت الدراسة أيضًا زيادة في أخطاء التنسيق في البرمجة خلال الفترة نفسها.