ChatGPT głupieje z czasem. Naukowcy sprawdzili to w badaniu

Użytkownicy niezwykle popularnego narzędzia ChatGPT od pewnego czasu mają podejrzenie, że chatbot… głupieje. Coraz mniej przenikliwe odpowiedzi na pytania to jednak nie złudzenie, a twarde fakty. Naukowcy właśnie to potwierdzili.

ChatGPT głupieje – model AI GPT miał stracić na inteligencji

W tym tygodniu opublikowano wyniki najnowszych badań prowadzonych przez zespoły Uniwersytetu Stanforda i UC Berkeley. Naukowcy eksplorują w nim to, jak zachowanie ChatuGPT zmieniło się z czasem. Werdykt? Stanowiące fundament czatbota modele GPT-3,5 i GPT-4 „znacząco się różnią”.

Co więcej, firma OpenAI zachwalała, że nowy tzw. multimodalny model AI GPT-4 ma być znacząco lepszy od poprzednika, m.in. w rozpoznawaniu obrazów tak samo dobrze, jak pisma. Jak się jednak okazuje, GPT-4 z czasem odpowiadała na zadane pytania coraz gorzej i gorzej.

Zadania testowe były oczywiście odpowiednio zróżnicowane, by mieć pewność, że sztuczna inteligencja była testowana w uczciwych warunkach. Na liście znalazły się m.in. zadania matematyczne, odpowiedzi na pytania zadane na wrażliwy temat, pisanie kodu programistycznego czy wnioskowanie na podstawie zadanych obrazów.

ChatGPT się degraduje – AI coraz gorzej radzi sobie z pytaniami

Naukowcy prezentują prosty przykład. Podczas rozpoczęcia testów w marcu 2023 roku ChatGPT rozpoznawał liczby pierwsze z celnością 97,6 procent. W czerwcu bieżącego roku oblał praktycznie cały test – poprawnie rozpoznał zaledwie 2,4 proc. zadanych liczb.

To nie wszystko. Napisany kod miał coraz więcej błędów formatowania. Chatbot przestał też reagować na wrażliwe tematy, po prostu odmawiając na nie odpowiedzi. Wcześniej dużo częściej próbował zaś zapewnić użytkownikowi odpowiednie informacje, w możliwe delikatny sposób.

Najciekawsze jest to, że autorzy badania nie mają pojęcia, czemu czatbot pogorszył swoje wyniki w tak znacznym stopniu. Społeczność Twittera teoretyzuje, że może to być kwestia strategii OpenAI. Odpowiedzi w modelu GPT-4 są udzielane znacząco szybciej niż uprzednio, ale ich jakość miała się subiektywnie zmniejszyć. Czy firma wybrała szybkość ponad dokładność? Obecnie nie mamy pewności.