Süni intellekt modelləri bəzi dillərdəki mətnləri emal etmək üçün ingilis dili ilə müqayisədə daha çox token tələb edir. Bu fərq istifadəçilər üçün xərcləri artırır, cavabların hazırlanmasını ləngidir və söhbətlərdə saxlanıla bilən məlumatın həcmini azaldır.
Coalition for Language Equity in AI Research təşkilatının ötən ay yayımladığı yeni araşdırmaya görə, süni intellekt modelləri bəzi dilləri emal edərkən digərləri ilə müqayisədə xeyli çox token istifadə edir. Tokenlər modellərin emal etdiyi mətn və ya məlumat vahidləridir. Tədqiqatçılar bu fərqi “tokenizator vergisi” adlandırırlar. Bu, internetdə daha az təmsil olunan dillərdə süni intellektdən istifadəni bahalaşdıra bilər.
Tokenizator mətn, şəkil və ya səs kimi xam məlumatları tokenlərə ayıran texnologiyadır. Araşdırmada qeyd olunur ki, internetdə ən çox istifadə edilən 20 dil arasında belə token sərfiyyatı ciddi fərqlənir. Ən çox token tələb edən dillər ən az token istifadə edən dillərlə müqayisədə 1,5–5 dəfə çox token sərf edir. Tədqiqatçılar təhlili 200 dilə genişləndirdikdə isə bir süni intellekt modelində token xərci arasındakı fərq 17 dəfəyə çatıb.
Araşdırmaya görə, bu fərq yalnız istifadə xərclərini artırmır. Daha çox token tələb olunması cavabların hazırlanma müddətini uzadır və modelin kontekst pəncərəsinin effektiv tutumunu azaldır. Nəticədə ingilis dilindən fərqli dillərdə işləyən istifadəçilər eyni söhbət və ya sənəd üçün daha az məlumatı modelin yaddaşında saxlaya bilirlər.
Hindistanın süni intellektə ixtisaslaşmış ilk vençur kapital fondu olan Activate AI-nin həmtəsisçisi Pratyush Choudhury bu problemin xidmət keyfiyyətinə də təsir etdiyini bildirib. Onun sözlərinə görə, məsələn, süni intellekt müəllimi şagirdin əvvəlki səhvlərini və izahları yadda saxlamalıdır. Lakin həmin tarixçə bəzi dillərdə kontekst pəncərəsini daha sürətlə doldurursa, bu, tədrisin keyfiyyətinə də mənfi təsir göstərə bilər.
Problemin həlli yollarından biri modellərin öyrədilməsi üçün daha keyfiyyətli dil məlumatlarının toplanmasıdır. Hindistanın Navana.ai şirkətinin baş direktoru Raoul Nanavati yerli dillərdə və dialektlərdə məlumat bazalarının yaradılmasının vacibliyini vurğulayıb. O, Bill və Melinda Qeyts Fondunun maliyyələşdirdiyi, Hindistan Elm İnstitutunun da iştirak etdiyi RESPIN təşəbbüsünü nümunə göstərib. Layihə çərçivəsində 38 dialekt üzrə ana dili danışanlarından mətnlər və səsləndirilmiş nitq nümunələri toplanıb.
Bununla belə, araşdırma göstərir ki, token sərfiyyatına təsir edən yeganə amil dilin nə qədər geniş yayılması deyil. Yazı sistemi də mühüm rol oynayır. Məsələn, danışanlarının sayı az olan və Common Crawl məlumat bazasında təmsil olunmayan asturiya dili latın əlifbasından istifadə etməsi və italyan dili kimi digər roman dilləri ilə oxşarlığı sayəsində üstünlük əldə edir.
Əksinə, tokenizatorların daha az tanıdığı yazı sistemlərindən istifadə edən birmalı, tibet, tifinaq, kxmer, lao və ol-çiki dilləri təhlil edilən modellərin demək olar ki, hamısında daha əlverişsiz vəziyyətdədir.
Maya Research şirkətinin baş direktoru Dheemanth Reddy bildirir ki, bir çox tokenizator hələ də əsasən ingilis dili və rəqəmsal resursları zəngin olan digər dillər üçün optimallaşdırılıb. Problemin kökündə isə yüksək keyfiyyətli rəqəmsal dil məlumatlarının çatışmazlığı dayanır. Bununla belə, o vurğulayır ki, daha keyfiyyətli təlim məlumatları təkbaşına tokenizasiya fərqini aradan qaldırmayacaq.
Reddinin fikrincə, token qiymətləri sürətlə aşağı düşdüyündən bu fərqin birbaşa maliyyə təsiri zamanla azala bilər. Çoxdilli və süni yaradılmış məlumatların keyfiyyətinin yaxşılaşması da modellərin nəticələrini təkmilləşdirəcək. Lakin tokenizasiya fərqinin həlli üçün süni intellekt laboratoriyaları gələcək tokenizatorları müxtəlif dilləri və yazı sistemlərini daha səmərəli emal edəcək şəkildə xüsusi olaraq hazırlamalıdır.
Choudhury isə dil üzrə səmərəliliyin dəqiqlik, sürət və etibarlılıq kimi məhsul tələbinə çevrilməli olduğunu düşünür. Onun sözlərinə görə, tam bərabərliyin əldə edilməsi real olmaya bilər, lakin böyük və davamlı fərqlər izah edilməli və aradan qaldırılması üçün konkret plan hazırlanmalıdır.
O, böyük süni intellekt laboratoriyalarına hər dil üzrə müqayisə edilə bilən tapşırıqların uğurla yerinə yetirilməsinin xərcini göstərən hesabatlar dərc etməyi və ən zəif nəticə göstərilən dillər üzrə ölçülə bilən təkmilləşdirmə hədəfləri müəyyənləşdirməyi təklif edir.
