OpenAI tədqiqatçıları ChatGPT tərəfindən yaradılan kodda səhvləri aşkar etmək üçün nəzərdə tutulmuş yeni süni intellekt modeli olan CriticGPT-ni təqdim ediblər.
GPT-4 ailəsinə əsaslanaraq, CriticGPT kodu təhlil edir və mümkün səhvləri göstərir ki, bu da nəzərə alınması çətin olan səhvləri aşkar etməyi asanlaşdırır. Tədqiqatçılar CriticGPT-ni qəsdən əlavə edilmiş səhvləri ehtiva edən kod nümunələri toplusunda öyrətməklə, ona müxtəlif kodlaşdırma xətalarını tanımaq və qeyd etməyi öyrədiblər.
Təbii olaraq yaranan LLM səhvləri ilə bağlı işlərin 63 faizində CriticGPT-nin tənqidlərinə annotatorlar tərəfindən insan tənqidlərinə üstünlük verildiyi aşkar edildi və CriticGPT-dən istifadə edən insan-maşın qrupları tək insanlardan daha əhatəli tənqidlər yazdı və yalnız süni intellektə aid edilən tənqidlərlə müqayisədə konfabulyasiya nisbətlərini azaltdı.
Tədqiqatçılar həmçinin Force Sampling Beam Search (FSBS) adlandırdıqları yeni bir texnika inkişaf etdirdilər. Bu üsul CriticGPT-yə daha ətraflı kod rəyləri yazmağa kömək edir. Bununla, CriticGPT-nin problemləri axtararkən nə qədər dəqiq olduğunu tənzimləmək, həmçinin əslində mövcud olmayan məsələləri nə qədər tez-tez hazırlaya biləcəyinə nəzarət etmək olar.
