Çinli Yapay Zeka Firması Hakkında Çarpıcı İddia: Benchmark Sorularını mı Çaldı?

Yapay zeka dünyasında MiniMax M3.1 Flash modelinin başarısı üzerine ortaya atılan yeni bir iddia, benchmark testlerinin güvenilirliğini ciddi şekilde tartışmaya açıyor. Bu iddia, modelin yüksek performans sergilediği test sorularını önceden ele geçirmiş olabileceği yönünde oldukça somut şüpheler barındırıyor.

MiniMax tarafından geliştirilen M3.1 Flash, özellikle Artificial Analysis tarafından yürütülen testlerde gösterdiği sonuçlarla teknoloji çevrelerinin dikkatini çekiyor. Ancak araştırmacılar, bu başarının arkasında benchmaxxing olarak adlandırılan ve modellerin genel yeteneklerini geliştirmek yerine test sorularını ezberlemesine dayanan bir yöntemin olabileceğini öne sürüyor.

Artificial Analysis tarafından yürütülen Omniscience testi, oldukça zorlu bir yapıya sahip olmasıyla biliniyor. Test havuzunda bulunan yaklaşık 6 bin sorudan yalnızca 600 tanesi halka açık şekilde paylaşılıyor ve geri kalan sorular gizli tutuluyor.

Conspiracy: How did Minimax M3.1 Flash out of nowhere become a genius on Artificial Analysis Omniscience Bench? AA Omniscience (my favorite benchmark btw) is closed and only 600 questions (of 6k) are released publicly.

That means benchmaxxing is basically impossible without a general knowledge increase. Let’s go back to when M3 released: June 1: Official model launch, API (although also 3rd party like siliconflow or novita) available.

June 4: Artificial Analysis benchmark published. June 12: Model weights released publicly on Hugging Face.

Oct 19: M3.1-F releases together with AA model page (early access for AA obv as DS takes like 1-2 days, this one 1 hour) and jumped from one of the least to one of the most knowledgeable models EVER. M3 17% (lower than gpt-4.1 mini)-> M3.1-F 56% (higher than Gemini 4 argon) on AA-O.

This is unheared of and never happened before.

Gelişmenin Detayları

The biggest improvement we saw in a small iteration was Gemini 3.1 Pro from 3.0 Pro which jumped 17%. This one did 39%.

Also it is FLASH. Probably would mean: Artificial analysis is compromised and MiniMax must be investigated if they any of them two want to stay credible.

Take the unpublished AA-O questions and slightly modify them so the answer changes and see if the model still defaults to the original answers. Obviously AA Omniscience isn’t the only benchmark.

This should be done for EVERY SINGLE PRIVATE BENCHMARK ON AA. — Binkg (@dummerspast39) October 19, 2026 İddialara göre MiniMax, M3 modelinin değerlendirme sürecinde Artificial Analysis’in sorgularını izleyerek bu sorulara erişim sağladı. Şirket, kendi altyapısı üzerinden gelen bu sorguları tespit ederek bir veri havuzu oluşturmuş olabilir.

M3 modelinin 1 Haziran tarihinde API üzerinden yayınlanması ve Artificial Analysis’in 4 Haziran’da sonuçları açıklaması, bu zamanlamanın tesadüf olmayabileceği ihtimalini güçlendiriyor. Modelin ağırlıkları ise ancak 12 Haziran tarihinde kamuoyuyla paylaşıldı.

Araştırmacı Binkg, yayınlanan Omniscience sorularından birini alıp cevabı değişecek şekilde hafifçe modifiye ettiğini belirtti. Bu testte diğer tüm modeller doğru yanıtı verirken, M3.1 Flash modelinin orijinal benchmark cevabını vermeye devam ettiği gözlemlendi.

Bu durum, modelin soruyu analiz etmek yerine doğrudan eğitim verisi olarak ezberlediği benchmark cevabını sunduğunu gösteriyor. Eğer bu iddialar doğrulanırsa, benzer yöntemlerin diğer yapay zeka modelleri için de kullanılmış olabileceği endişesi doğuyor.

MiniMax M3.1 Flash, 428 milyar parametre ve 23 milyar aktif parametre ile oldukça verimli bir yapı sunuyor. Model, 1 milyon girdi token’ı için 0,15 dolar ve çıktı için 0,60 dolar gibi oldukça rekabetçi fiyatlandırma seçenekleriyle öne çıkıyor.

Automation Bench, Banker ToolBench ve LOCA-Bench-256K gibi üç önemli benchmark testinde lider konumda bulunması, modelin agent iş akışlarında yüksek performans sunduğunu kanıtlıyor. Artificial Analysis Intelligence Index üzerinde 42 puan alan model, M3 sürümüne göre 13 puanlık bir artış kaydetti.

Bu performans artışı, GLM-5.3-Flash modeli ile benzer bir seviyede seyrediyor. Ancak benchmark sonuçlarındaki bu hızlı yükseliş, testlerin manipüle edilip edilmediği konusundaki tartışmaları da beraberinde getiriyor.

Artificial Analysis tarafı henüz iddialara ilişkin resmi bir açıklama yapmadı. Konuyla ilgili olarak kurumla iletişime geçildiği ve yanıtların gelmesi durumunda paylaşılacağı belirtiliyor.

Kullanıcıların, yapay zeka modellerini karşılaştırırken yalnızca benchmark puanlarına odaklanmak yerine daha temkinli davranmaları öneriliyor. Sizce yapay zeka benchmark testleri, modellerin gerçek yeteneklerini ölçmek için yeterince güvenilir mi?

Yorumunuz gönderildi,onaylandıktan sonra yayımlanacak. Δ document.getElementById( "ak_js_1" ).setAttribute( "value", ( new Date() ).getTime() );