Yapay Zekâ Görünürlüğü Nasıl Ölçülür?

Doğru Sorularla Başlamak

“Firma X iyi mi?” gibi marka adı içeren sorular görünürlüğü ölçmez; o soruyu soran kişi sizi zaten tanıyordur. Doğru soru, sizi tanımayan bir müşterinin soracağı sorudur. Bir ürün ya da hizmet, bir özellik, bir yer ya da bir beklenti içerir.

Liste işletmeye göre değişir. Bir online mağaza için ürün ve karşılaştırma soruları, bir kuaför için yer ve yorum soruları, bir yazılım şirketi için “hangisi daha uygun” soruları öne çıkar. Listeyi bir kez belirleyip sabit tutmak gerekir; yoksa aylar arasında karşılaştırma yapılamaz.

Birden Çok Asistan

Google’ın yapay zekâsı, ChatGPT ve Claude aynı soruya farklı markalarla cevap verebilir. Her biri farklı kaynaklara yaslanır ve farklı biçimde özetler. Bu yüzden sonuç her asistan için ayrı tutulmalı.

Müşterilerinizin hangi asistanı kullandığını bilmek zor. Birini ölçüp ötekileri varsaymak, resmin yarısını görmek demek.

Birden Çok Deneme

Aynı asistan da günden güne farklı cevap verebilir. Sorunun ifadesindeki küçük bir fark bile listeyi değiştirebilir. Tek bir denemeye bakarak karar vermek, yazı tura atmaya benzer.

Bu yüzden her soru her asistana birkaç kez sorulur ve sonuç tekrarların toplamından hesaplanır. Böylece ara sıra çıkan bir isimle düzenli çıkan bir isim birbirinden ayrılır.

Hangi Sayılara Bakılır?

Görünürlük oranı, adınızın geçtiği cevapların bütün cevaplara oranıdır. Sıra, adınızın listede kaçıncı geçtiğidir. Rakip payı, yerinize kimlerin kaç cevapta önerildiğidir. Kaynaklar da asistanın cevabında dayandığı sayfalardır.

Bu dördü birlikte okunduğunda, tek bir puanın gizleyeceği şeyi gösterir: hangi soruda, hangi asistanda ve kime karşı geride olduğunuzu. Tek bir “yapay zekâ skoru” bu ayrıntıları bir ortalamanın içinde eritir.

Kaynakları Kaydetmek

Bir asistan cevabında kaynak gösteriyorsa, bu kaynaklar ölçümün en değerli parçalarından biri. Hangi sayfaların düzenli olarak anıldığını, rakiplerinizin hangi kaynaklar üzerinden öne çıktığını gösterirler.

Kaynaklar asistandan asistana değişir; bazıları hiç kaynak göstermez. O durumda yalnızca cevabın kendisi kayda geçer. Raporda bu farkı açıkça belirtmek, okuyanın yanlış sonuç çıkarmasını önler.

Google Ölçümüyle Birlikte Okumak

Yapay zekâ ölçümü Google’daki ölçümden ayrı, ama ondan bağımsız değil. Aynı soru listesinden çıkan aramalarda Google’daki sıranız ve aldığınız tıklamalar, resmin öteki yarısını gösterir.

İkisini yan yana koyduğunuzda genellikle üç durumdan biriyle karşılaşırsınız: iki yerde de iyisiniz, birinde iyi ötekinde zayıfsınız ya da ikisinde de geridesiniz. Her durum farklı bir öncelik gerektirir.

Kendiniz Ölçmek İsterseniz

Bu ölçümü elle yapmak mümkün. On soruluk bir liste, üç asistan ve her soru için birkaç deneme, ayda birkaç saatlik bir iş demek. Cevapları bir tabloya kaydedip her ay aynı biçimde tekrarlamak gerekir.

Zorluk sayılarda değil, tutarlılıkta. Soruların ifadesi değişmemeli, denemeler benzer koşullarda yapılmalı ve kaynaklar da kaydedilmeli. Birkaç ay sonra elinizde karşılaştırılabilir bir kayıt olur.

Bu kaydı tutmanın zahmetli geldiği yerde, aynı işi düzenli olarak yapan bir rapor devreye girer. Önemli olan yöntemin kendisi; kimin uyguladığı ikinci planda.

Zaman İçinde Okumak

Bir ayın sonucu tek başına az şey söyler. Değer, aynı ölçümün her ay tekrarlanmasında. Bir sorudaki iniş, başka bir sorudaki çıkış, bir asistanda kaybedilen yer; bunlar ancak yan yana görüldüğünde anlam kazanır.

İyi bir rapor kötü ayları da gösterir. Yalnızca iyi haberleri öne çıkaran bir rapor, neyin işe yaradığını anlamanızı engeller.

Ölçümün amacı bir not almak değil, bir sonraki adımı belirlemek. Hangi soruda geride olduğunuzu ve yerinize kimin çıktığını bildiğinizde, nereden başlanacağı da çoğu zaman kendiliğinden ortaya çıkar. Sayılar ancak bir karara dönüştüğünde değer kazanır.