Yapay Zekâ Aynı Soruya Neden Farklı Cevap Veriyor, Önerileri Ne Kadar Tutarlı?

Bir kahve makinesi satıcısı sabah ChatGPT’ye ev için hangi espresso makinelerini önerdiğini soruyor, kendi markasını üçüncü sırada görüp ekran görüntüsünü ekibine gönderiyor. Öğleden sonra aynı soruyu bir çalışma arkadaşı soruyor; liste başka, marka yok. İkisi de yanlış görmedi. Bu yazı, yapay zekâ asistanlarının aynı soruya neden farklı cevap verdiğini, marka önerilerinin ne kadar tutarlı olduğunu ve verdikleri bilgilerin, gösterdikleri kaynakların ne sıklıkla hatalı çıktığını araştırmalar üzerinden anlatıyor. Arama Motoru Optimizasyonu (SEO) ile Yapay Zekâ Arama Optimizasyonu (GEO) arasındaki en derin farklardan biri de burada: bir arama sonucunu bir kez bakarak görebilirsiniz, bir yapay zekâ cevabını ise ancak tekrar tekrar sorarak tanıyabilirsiniz.

RehberAraştırma8 dk okuma

Siyah zeminde yuvarlanan üç beyaz zar

Cevap Bir Kez Yazılmaz, Her Seferinde Yeniden Üretilir

Bir arama motorunun sonuç sayfası, belli bir anda dizinden çekilmiş sıralı bir listedir; aynı saatte aynı aramayı yapan iki kişi büyük ölçüde aynı sayfayı görür. Dil modeli böyle çalışmaz. Cevabı parça parça kurar, her adımda bir sonraki parçanın olasılığını hesaplar ve çoğu üründe bu olasılıklar arasından seçim yapar. Yani aynı soru, her sorulduğunda yeniden yazılan bir metindir. Biraz farklı bir kelimeyle başlayan bir cümle, birkaç satır sonra bambaşka bir yere varabilir.

Akla gelen ilk itiraz şu olur: rastgeleliği kapatırsak cevap sabitlenmez mi? Araştırmalar bunun da tam olarak geçerli olmadığını gösteriyor. Beş modelin, belirlenimci olması beklenen ayarlarla sekiz görevde onar kez çalıştırıldığı bir çalışmada doğruluk, çalıştırmalar arasında yüzde 15’e kadar oynadı; en iyi ve en kötü olası sonuç arasındaki fark yüzde 70’e kadar çıktı1. Thinking Machines Lab’in 2025’teki deneyinde açık bir model, rastgelelik sıfıra çekilmiş hâlde aynı soruya bin kez cevap verdi ve ortaya 80 farklı metin çıktı; cevaplar ilk 102 parça boyunca aynı gidip 103’üncüde ayrıştı2.

Yazarlar asıl nedeni sunucunun o anki yükünde buluyor: aynı anda işlenen istek sayısı değiştikçe hesaplar çok küçük sayısal farklarla sonuçlanıyor ve bu farklar zaman zaman başka bir kelimenin seçilmesine yetiyor2. Kullanıcı açısından anlamı basit. Soruyu sorduğunuz anda kaç kişinin daha soru sorduğunu bilemezsiniz, cevabınız da kısmen buna bağlıdır. Buna sohbet geçmişi, kişisel ayarlar, modelin sessizce güncellenmesi ve asistanın o an web’de arama yapıp yapmadığı eklenince, iki kullanıcının aynı ekranı görmesi istisna hâline gelir.

Marka Listeleri Ne Kadar Tekrar Ediyor

Bu teknik ayrıntı, bir işletme için en çok marka önerilerinde hissedilir. SparkToro’dan Rand Fishkin ile Gumshoe.ai’den Patrick O’Donnell, 2025’in son iki ayında yaklaşık 600 gönüllüden 12 farklı öneri sorusunu ChatGPT, Claude ve Google’ın yapay zekâ cevaplarında çalıştırmalarını istedi; toplamda 2.961 cevap toplandı3. Sorular mutfak bıçağından kulaklığa, kanser tedavisi yapan hastanelerden dijital pazarlama danışmanlarına kadar uzanıyordu.

Bulgu yalın: ChatGPT’ye ya da Google’ın yapay zekâsına aynı soruyu yüz kez sorduğunuzda aynı marka listesini iki kez görme ihtimaliniz yüzde birin altında, aynı listeyi aynı sırayla görmek ise yaklaşık bin denemede bir3. Claude aynı listeyi tekrar etmeye biraz daha yatkın çıktı, ama fark küçüktü3. Listelerin uzunluğu bile cevaptan cevaba değişiyordu.

Çalışmanın daha az konuşulan tarafı ise daha öğretici. Liste ve sıra oynak olsa da bazı markalar cevapların büyük kısmında yer almayı sürdürdü: kulaklık sorularında öne çıkan dört marka cevapların yüzde 55 ile 77’sinde görüldü, bir hastane ise ChatGPT’nin 71 cevabının 69’unda geçti ama yalnızca 25’inde ilk sırada anıldı3. Çalışmanın hakemli bir akademik yayın olmadığını, araştırma ortağının yapay zekâ görünürlüğü izleyen bir araç geliştirdiğini ve yazarların daha geniş örneklemle tekrar çağrısı yaptığını da akılda tutmak gerekiyor3.

Sıra Bir Gürültü, Görünme Oranı Bir Sinyal

Bu tablo, elinizdeki ekran görüntüsünün ne anlama geldiğini değiştiriyor. Bir mobilya üreticisinin pazarlama müdürü, ChatGPT’nin markasını ilk sırada önerdiğini görünce bunu yönetime başarı olarak sunmak ister. Oysa aynı soruyu bir saat sonra soran bir müşterinin o markayı hiç görmemesi, yukarıdaki verilere bakınca hiç de şaşırtıcı değil. Tek bir cevap, bir anket değil, tek bir kişiye sorulmuş tek bir sorudur.

Fishkin’in vardığı yer de burası: yapay zekâda sıralama pozisyonu raporlamayı anlamsız buluyor, buna karşılık bir markanın kaç cevapta yer aldığını gösteren görünürlük oranını makul bir ölçü sayıyor, ama ancak düzinelerce, hatta yüzlerce soru birden çok kez çalıştırıldığında3. Bu, klasik aramadan gelen alışkanlıkla ters düşüyor. SEO’da “kaçıncı sıradayız” sorusunun net bir cevabı vardı. GEO’da sorulması gereken, “yüz denemenin kaçında anılıyoruz, hangi rakiplerle birlikte ve hakkımızda ne söyleniyor” sorusudur.

Bir yazılım şirketini düşünelim. Ön muhasebe programı arayan küçük bir işletme sahibi asistana aynı ihtiyacı üç ayrı biçimde sorabilir: en iyi programı, kendi ölçeğine uygun olanı ya da e-fatura desteği olanı. Her soru ayrı bir cevap dağılımı üretir. Şirketin gerçek durumu bu dağılımların hepsine birlikte bakınca ortaya çıkar, tek bir sorunun tek bir cevabına bakınca değil.

Kaynak Gösterdiğinde Bile Doğrulanabilir Mi

Tutarsızlık işin bir yüzü; diğer yüzü, cevabın doğru olup olmadığı. Kaynak bağlantısı veren asistanlar ilk bakışta daha güvenilir görünür, çünkü iddianın yanında bir dipnot durur. Stanford’dan Nelson Liu, Tianyi Zhang ve Percy Liang 2023’te dört üretken arama motorunun cevaplarını insan değerlendiricilerle inceledi. Cümlelerin yalnızca yüzde 51,5’i verilen kaynaklarca tam olarak destekleniyordu; kaynakların da ancak yüzde 74,5’i bağlandığı cümleyi gerçekten destekliyordu4.

Columbia Journalism Review’da yayımlanan, Tow Center’dan Klaudia Jaźwińska ve Aisvarya Chandrasekar’ın 2025 testi daha yakın tarihli bir tablo çiziyor. Sekiz yapay zekâ arama aracına haber metinlerinden alıntılar verip kaynağını sordular; 1.600 sorgunun yüzde 60’ından fazlası yanlış cevaplandı5. Hata oranı araca göre yüzde 37 ile yüzde 94 arasında değişiyordu ve bir aracın 200 kaynak bağlantısından 154’ü hata sayfasına çıkıyordu5.

Bir işletme için bunun anlamı somut. Asistan markanızı andığında bile ürün özelliği, kuruluş yılı ya da hizmet verdiğiniz alan yanlış aktarılabilir; dipnot da bu yanlışı sizin sitenize dayandırıyormuş gibi görünebilir. Bir hukuk bürosunun çalışma alanlarının karıştırılması ya da bir üreticinin yıllar önce bıraktığı bir ürünle anılması, müşterinin aklında doğrudan o işletmeye yazılır.

Hatalı Bilgi Neden Bir İstisna Değil

Bu hatalara literatürde halüsinasyon deniyor. Ji ve arkadaşlarının ACM Computing Surveys’te yayımlanan kapsamlı taraması, dil üretim sistemlerinin akıcı ama kaynağa ya da gerçeğe dayanmayan metin üretme eğilimini özetleme, soru cevaplama, diyalog ve çeviri gibi pek çok görevde ayrı ayrı belgeliyor6. Yani sorun belli bir ürünün kusuru değil, bu teknoloji ailesinin bilinen bir özelliği.

Kalai ve arkadaşlarının 2025 tarihli çalışması nedene dair yalın bir açıklama öneriyor: modeller eğitimde ve değerlendirmede “bilmiyorum” demek yerine tahmin yürütmeye teşvik ediliyor, tıpkı yanlış cevabın puan kırmadığı bir sınavda boş bırakmak yerine şık işaretleyen öğrenci gibi7. Bu açıdan bakınca, markanız hakkında az ve dağınık bilgiyle karşılaşan bir modelin makul görünen ama gerçek olmayan bir ayrıntı üretmesi şaşırtıcı değil.

Her seferinde yeniden üretilen cevap ile ara sıra gerçeğe dayanmadan üretilen ayrıntı yan yana gelince tablo netleşiyor. Markanızla ilgili yanlış bir cümle her cevapta çıkmaz; on denemenin ikisinde görünüp sekizinde kaybolabilir. Tek bir kontrol bunu yakalamaz, yakalasa bile ne kadar sık olduğunu söyleyemez.

Tek Ölçüm Neden Yetmez

Buraya kadar anlatılanların ortak noktası şu: yapay zekâdaki görünürlük bir fotoğraf değil, bir dağılım. Bir dağılımı da ancak çok sayıda gözlemle tanıyabilirsiniz. Aynı soru birden çok kez, farklı ifadelerle, farklı asistanlarda ve farklı günlerde sorulmadıkça elinizdeki veri bir izlenimden öteye geçmez.

Tekrarlı ölçüm üç şeyi birbirinden ayırmaya yarar. Birincisi, markanın gerçekte ne sıklıkla anıldığı: şanslı ya da şanssız tek bir cevap yerine bir oran. İkincisi, anıldığında ne söylendiği: doğru mu, eksik mi, yanlış mı; yanlışsa ara sıra mı, her seferinde mi. Üçüncüsü, zaman içindeki değişim. Modeller güncellenir, web’e dayanan cevaplar yeni sayfalarla beslenir; geçen ayın tablosu bu ay geçerli olmayabilir.

Bir eğitim kurumunun yöneticisi, kurumunun asistanlarda nasıl anıldığına bir kez bakıp rahatlayabilir ya da telaşa kapılabilir. İki tepki de aynı yanılgıdan doğar: tek bir cevabı gerçeğin kendisi saymak. Burada andığımız araştırmaların ortak mesajı, bu sistemlerin cevaplarını bir kerelik bir hüküm olarak değil, tekrarlanan bir deneyin sonuçları olarak okumak gerektiği135.

Kaynakça

  1. Berk Atil, Sarp Aykent, Alexa Chittams, Lisheng Fu, Rebecca J. Passonneau, Evan Radcliffe, Guru Rajan Rajagopal, Adam Sloan, Tomasz Tudrej, Ferhan Ture, Zhe Wu, Lixinyu Xu, Breck Baldwin (2024). Non-Determinism of “Deterministic” LLM Settings. arXiv preprint 2408.04667.
  2. Horace He, Thinking Machines Lab (2025). Defeating Nondeterminism in LLM Inference. Thinking Machines Lab, Connectionism.
  3. Rand Fishkin (SparkToro), with Patrick O’Donnell (Gumshoe.ai) (2026). NEW Research: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility. SparkToro Blog.
  4. Nelson F. Liu, Tianyi Zhang, Percy Liang (2023). Evaluating Verifiability in Generative Search Engines. Findings of EMNLP 2023 (arXiv 2304.09848).
  5. Klaudia Jaźwińska, Aisvarya Chandrasekar (2025). AI Search Has a Citation Problem. Columbia Journalism Review, Tow Center for Digital Journalism.
  6. Ziwei Ji, Nayeon Lee, Rita Frieske, et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys 55(12), Article 248.
  7. Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang (2025). Why Language Models Hallucinate. arXiv preprint 2509.04664.

Markanız Yapay Zekâda Nasıl Anılıyor

Ücretsiz ön taramada markanızın birkaç asistanda, tekrarlanan sorularda nasıl anıldığına birlikte bakalım.