Google DeepMind və Stenford Universitetinin tədqiqatçıları süni intellekt tərəfindən verilən cavabları təhlil edən və yanlış cavabları axtaran yeni avtomatlaşdırılmış qiymətləndirmə sistemi olan SAFE-ni təqdim ediblər.

Valyuta.az bu barədə NV-yə istinadla xəbər verir.

Süni intellekt “chatbot”larından gələn cavabların yoxlanılması çox mürəkkəb prosesdir və insan annotatorlarına əsaslanır. Tədqiqatçılar arXiv-də mövcud olan məqalədə bildiriblər ki, süni intellekt alimləri tərəfindən hazırlanmış SAFE nəinki yoxlama prosesini asanlıqla miqyaslandırmağa imkan verir, həm də daha yaxşı performans nümayiş etdirir.

Tədqiqatın bir hissəsi olaraq, tədqiqatçılar Gemini, GPT, Claude və PaLM-2 daxil olmaqla dörd model ailəsini əhatə edən on üç dil modelindən istifadə etdilər. Baxış prosesi, axtarış nəticələri kontekstində AI tərəfindən verilən hər bir faktı qiymətləndirən mürəkkəb, çox addımlı əsaslandırma sistemini əhatə edir.

Bu böyük dil modellərindən (LLM) istifadə edərək, tədqiqatçılar təxminən 16 min fərdi faktdan ibarət məlumat toplusu yaradıb. Daha sonra hər bir fakt Google Axtarışdan istifadə edərək dəqiqliyi üçün müstəqil olaraq yoxlanılıb. Ayrı-ayrı faktların verilən sorğuya uyğunluğu da yoxlanılıb. 72% hallarda TƏHLÜKƏSİZ cavab balları insan annotatorlarınkinə uyğun gəlib. 100 mübahisəli tapıntının diqqətli təhlili zamanı SAFE tərifləri zamanın 76%-də doğru olub.

Belə yoxlamanın köməyi ilə modellərin dəqiqliyini əhəmiyyətli dərəcədə artırmaq mümkün olub. Xüsusilə, GPT-4-Turbo 95% faktiki dəqiqlik səviyyəsinə nail olub. Bu sistem həmçinin LLM-lər tərəfindən yaradılan məlumatların doğruluğunu və etibarlılığını artırır, prosesin xərclərini azaldır. Tədqiqatçıların fikrincə, sistem insan tərəfindən yaradılan annotasiyalardan 20 dəfə ucuzdur.

Nicat