A/B Testi Nasıl Yapılır? (Ve Çoğu Testin Neden Sonuç Vermediği)

“İki versiyonu test ettik, B daha iyi çıktı, onu yayınladık. Ama dönüşüm oranı değişmedi.”

Bu cümle, A/B testinin Türkiye’de en sık yaşanan hâlini özetliyor. Test yapılıyor, bir kazanan ilan ediliyor, değişiklik uygulanıyor ve hiçbir şey olmuyor. Sorun testin kendisinde değil; testin ne zaman bittiğine karar verme biçiminde.

Google Ads’in kendi deney sistemi bu eşiği açıkça tanımlıyor: sonuçlar %95 güven aralığıyla ve iki yönlü anlamlılık testiyle değerlendiriliyor, hesaplama bucket’lanmış veri üzerinde jackknife yeniden örneklemesiyle yapılıyor (Google Ads Yardım). Google ayrıca deneyin 2-3 hafta çalıştırılmasını öneriyor (Google Ads Yardım).

Yani “B daha iyi görünüyor” bir sonuç değil, bir gözlemdir.

Bu rehberde şunları ele alacağız:

• A/B testinin ne olduğu ve neyin testi olmadığı
• Çoğu testin neden sonuç üretmeden bittiği
• Testin altı adımda nasıl kurulacağı
• Ne kadar süre çalıştırılacağı ve anlamlılığın nasıl okunacağı
• Google Optimize kapandıktan sonra hangi araçlarla çalışılacağı

Biz Brandaft olarak testi bir “optimizasyon aktivitesi” olarak değil, karar altyapısı olarak kurarız. Bir testi başlatmadan önce sorduğumuz soru şudur: bu testin sonucu ne çıkarsa çıksın, hangi kararı değiştirecek? Cevabı olmayan test yapılmaz.

A/B Testi Nedir? (Ve Neyin Testi Değildir?)

A/B testi, bir sayfanın, reklamın ya da mesajın iki versiyonunu aynı anda, aynı trafiğe bölerek karşılaştırma yöntemidir. Amaç hangisinin “daha güzel” olduğunu bulmak değil; bir değişkendeki değişikliğin ölçülebilir bir sonuç üzerinde etkisi olup olmadığını görmektir.

Kritik kelime aynı anda. Geçen ayın verisiyle bu ayın verisini karşılaştırmak A/B testi değildir; o sadece bir öncesi-sonrası kıyaslamasıdır ve mevsimsellik, kampanya, haber akışı gibi onlarca değişkeni içerir.

İkinci kritik kelime tek değişken. Aynı anda başlığı, görseli ve butonu değiştirirseniz kazananı bulursunuz ama nedenini bulamazsınız. Nedeni bilmeyen ekip bir sonraki testi kuramaz.

A/B testi hangisinin kazandığını söyler. Tek değişken, neden kazandığını söyler.

Neyin testi değildir? Trafiği az olan bir sayfanın testi. Günde üç dönüşüm alan bir sayfada A/B testi, sonucu okunamayacak bir bekleyiş üretir. Orada yapılacak iş test değil, dönüşüm teşhisidir.

Neden Çoğu A/B Testi Sonuç Üretmiyor?

Sahada gördüğümüz başarısız testlerin neredeyse tamamı aynı dört sebepten biriyle bitiyor. Google Ads de kendi deneylerinde anlamlılığa ulaşılamama nedenlerini aynı şekilde sıralıyor: deney yeterince uzun çalışmamıştır, kampanya yeterli trafik almamaktadır, trafik bölünmesi çok küçüktür ya da yapılan değişiklik zaten anlamlı bir fark yaratmamıştır (Google Ads Yardım).

Bu listeye sahadan gelen bir beşincisini ekliyoruz: testin bir hipotezi yoktur.

Hipotezsiz test şöyle görünür: “Butonu yeşil yapalım, bakalım ne olacak.” Hipotezli test şöyle görünür: “Kullanıcılar kargo ücretini geç öğrendiği için sepette çıkıyor; kargo bilgisini ürün sayfasına taşırsak sepet terki azalır.” Birincisi bir merak, ikincisi bir karar.

Fark şurada ortaya çıkıyor: hipotezli testte sonuç olumsuz çıksa bile bir şey öğrenirsiniz. Hipotezsiz testte olumsuz sonuç hiçbir şey öğretmez, sadece zaman geçirir.

Kazanan varyant bir sonuçtur. Doğrulanan hipotez bir bilgidir.

A/B Testi Nasıl Yapılır? (Altı Adım)

Sıra bozulduğunda test yeniden kurulmak zorunda kalır. İşleyen sıra şu:

Birinci adım veriyle başlar, fikirle değil. Nerede kayıp olduğunu bilmeden ne test edeceğinizi bilemezsiniz. Huninin hangi adımında düşüş olduğunu görmek için ölçümün doğru kurulmuş olması gerekir; bunun nasıl yapıldığını GA4 dönüşüm takibi rehberimizde anlattık.

İkinci adım hipotezi yazmaktır. Tek cümlelik bir kalıp işe yarıyor: “X gözlemi nedeniyle, Y değişikliğinin Z metriğini artıracağını düşünüyoruz.”

Üçüncü adım değişkeni tekleştirmektir. Birden fazla şeyi aynı anda test etmek istiyorsanız o artık A/B testi değil, çok değişkenli testtir ve çok daha fazla trafik ister.

Dördüncü adım örneklem planıdır. Testi başlatmadan önce kaç ziyaretçi ve kaç dönüşüm biriktiğinde bakacağınızı yazın. Bu rakam baştan yazılmazsa, test “iyi görünen” günde kapanır.

Beşinci adım süredir. Google Ads deneylerde 2-3 hafta öneriyor. Bunun bir sebebi haftanın günleri arasındaki davranış farkıdır: yalnızca hafta içi çalışan bir test, hafta sonu davranışını hiç görmez.

Altıncı adım karardır. Üç seçenek vardır: uygula, ele, ya da hipotezi düzeltip tekrar et. “Belirsiz” bir dördüncü seçenek değildir; belirsizlik de bir cevaptır ve genellikle değişikliğin etkisiz olduğu anlamına gelir.

Ne Kadar Süre Çalıştırmalı? (İstatistiksel Anlamlılık Meselesi)

En pahalı hata testi erken kapatmaktır. İkinci en pahalı hata sonsuza kadar açık bırakmaktır.

İstatistiksel anlamlılık, elinizdeki farkın tesadüf olma ihtimalinin düşük olduğunu söyler. Google Ads bunu %95 güven aralığıyla ve iki yönlü testle hesaplar (Google Ads Yardım). Yani “yüzde 95 emin” demek, “bu fark tesadüfen çıkmış olsaydı, bunu görme ihtimalimiz yüzde 5’in altındaydı” demektir.

Pratikte üç kural yeterli:

• Süreyi baştan yazın. İki tam hafta, tercihen üç. Gün ortasında bakmak için değil, karar vermek için.
• Dönüşüm sayısına bakın, ziyaretçi sayısına değil. İki varyantın her birinde anlamlı bir dönüşüm birikimi yoksa yüzde farkı gürültüdür.
• İlk günlere göre karar vermeyin. Testin ilk günlerinde varyantlar arasında büyük farklar görünmesi normaldir; bu fark genellikle veri biriktikçe kapanır.

Anlamlılığa ulaşılamıyorsa bu bir başarısızlık değil, bir bilgidir: ya değişiklik yeterince güçlü değildir ya da trafik test için yetersizdir. İkinci durumda yapılacak şey testi uzatmak değil, daha büyük bir değişikliği test etmektir.

Nerede Test Edilir? Site, Reklam ve E-posta

A/B testi tek bir yerde yapılan bir iş değil. Üç ayrı yüzeyde, üç ayrı mantıkla çalışır.

Site tarafında test edilen şey genellikle sayfa yapısıdır: başlık vaadi, form uzunluğu, fiyat sunumu, güven sinyallerinin yeri. E-ticarette en yüksek getirili alan checkout akışıdır; oradaki sürtünme noktalarını sepet terk etme oranı rehberimizde tek tek ele aldık.

Reklam tarafında test, platformun kendi deney aracıyla yapılır. Burada dikkat edilecek nokta trafik bölünmesidir: Google Ads’te 50:50 bölünme, deneyin ve orijinalin aynı sayıda açık artırmaya girmesi anlamına gelir (Google Ads Yardım). Bölünme küçültüldüğünde deney yeterli veri toplayamaz.

E-posta tarafında test en kolay, sonuç en yanıltıcıdır. Açılma oranı bir sonuç değildir; test edilecek metrik tıklama ya da dönüşüm olmalıdır.

Bu üç yüzeyin ortak kuralı şu: aynı anda iki yüzeyde test yapmayın. Site testi sürerken reklam metnini de değiştirirseniz, hangi değişikliğin ne yaptığını ayıramazsınız.

Hangi Araçla? (Google Optimize Kapandıktan Sonra)

Uzun yıllar ücretsiz standart olan Google Optimize artık yok. Google, Optimize ve Optimize 360’ın 30 Eylül 2023 itibarıyla kullanılamadığını duyurdu ve yerine üçüncü taraf entegrasyonlarını önerdi; duyuruda AB Tasty, Optimizely ve VWO iş birlikleri adıyla anılıyor, ayrıca API’lerin herkese açıldığı belirtiliyor (Google).

Pratikte bugün üç yol var. Birincisi, reklam platformlarının kendi deney araçları; ek maliyet yok ve reklam tarafı için yeterli. İkincisi, ücretli test araçları; site tarafında ciddi trafiği olan e-ticaret ve SaaS için mantıklı. Üçüncüsü, kendi altyapınızda sunucu taraflı test; geliştirici gerektirir ama hız ve kontrol kazandırır.

Araç seçimi testin kendisinden daha az önemlidir. Aracı olmayan ekip test yapamaz, ama hipotezi olmayan ekip aracı olsa da yapamaz.

Test Sonucu Nasıl Okunur?

Sonuç okumanın üç katmanı var ve çoğu ekip birincide duruyor.

Birinci katman varyant metriğidir: hangi versiyon daha yüksek dönüşüm oranı verdi? Bu gerekli ama yetersiz.

İkinci katman segmenttir. Ortalamada fark yokken mobilde belirgin fark olabilir. Cihaz, trafik kaynağı ve yeni-dönen kullanıcı kırılımına bakmadan test kapatılmamalı.

Üçüncü katman iş sonucudur. Form sayısı artmış ama gelen taleplerin niteliği düşmüşse test kazanmamıştır. Bu yüzden test metriği mümkün olduğunca gelire yakın seçilmeli. Ölçümü satışa bağlama yaklaşımını dönüşüm odaklı SEO yazımızda ele almıştık; aynı mantık test tarafında da geçerlidir.

Son olarak kazanan testi belgeleyin. Yazılmayan test sonucu altı ay sonra yeniden test edilir.

A/B Test Programı: 30 / 60 / 90 Gün

Tek bir test bir program değildir. Sonuç üreten ekipler testi sıraya koyar.

• İlk 30 gün — teşhis ve ilk test: ölçüm doğrulanır, huninin en çok kaybettiren adımı bulunur. Tek test, tek değişken, yazılı hipotez. Amaç kazanmak değil, döngüyü kurmak.
• 60. gün — sıraya koyma: hipotezler etki ve uygulama zorluğuna göre önceliklendirilir. Yüksek etki-düşük zorluk olanlar öne alınır. Testler arka arkaya değil, çakışmayacak şekilde planlanır.
• 90. gün — birikim: kazanan ve kaybeden testler tek bir kayıtta toplanır. Bu kayıt zamanla ekibin en değerli varlığı hâline gelir; çünkü hangi müşterinin neye tepki verdiğini gösterir.

Bu programın gücü test sayısında değil, testlerin birbirinin üzerine binmesindedir.

Sonuç: A/B Testi Bir Araç Değil, Karar Disiplinidir

A/B testi yapmak bir yazılım satın almak değildir. Bir soruyu yanıtlanabilir hâle getirmektir.

Testin değeri kazanan varyantta değil, kurduğu alışkanlıktadır: gözlemle başlamak, tek değişken değiştirmek, süreyi baştan yazmak ve sonuca göre karar vermek. Bu alışkanlık yerleştiğinde test sayısı azalır, kazanılan test oranı artar.

Sitenizde trafik varsa ama dönüşüm hareket etmiyorsa, muhtemelen test edilecek doğru yeri henüz bulmadınız. Nereden başlayacağınızdan emin değilseniz, ücretsiz teşhis raporumuzla hangi adımın kaybettirdiğini birlikte çıkaralım.

A/B Testi ile İlgili Sıkça Sorulan Sorular

A/B testi ne kadar sürmeli?

Google Ads deneylerde 2-3 hafta öneriyor. Süreyi baştan yazmak ve erken kapatmamak kritiktir, çünkü ilk günlerdeki büyük farklar veri biriktikçe genellikle kapanır. Süreyi belirlerken takvimden çok dönüşüm birikimine bakın: iki varyantta da anlamlı sayıda dönüşüm yoksa yüzde farkı gürültüdür.

A/B testi için kaç ziyaretçi gerekir?

Tek bir rakam yoktur; gereken örneklem mevcut dönüşüm oranınıza ve yakalamak istediğiniz farkın büyüklüğüne bağlıdır. Küçük bir iyileşmeyi kanıtlamak çok daha fazla trafik ister. Trafiği düşük sayfalarda doğru hamle test değil, daha büyük bir değişikliği uygulayıp huniyi teşhis etmektir.

İstatistiksel anlamlılık ne demek?

Elinizdeki farkın tesadüf olma ihtimalinin düşük olduğu anlamına gelir. Google Ads bunu %95 güven aralığı ve iki yönlü anlamlılık testiyle hesaplıyor. Anlamlılığa ulaşılamamasının başlıca nedenleri şunlar: deneyin yeterince uzun çalışmaması, trafiğin yetersiz olması, trafik bölünmesinin küçük kalması ya da değişikliğin gerçekten bir fark yaratmamış olması.

Aynı anda birden fazla şey test edilebilir mi?

Edilebilir, ama o zaman yaptığınız şey A/B testi değil çok değişkenli testtir ve belirgin biçimde daha fazla trafik gerektirir. A/B testinde tek değişken değiştirilir; aksi hâlde kazananı bulur, nedenini bulamazsınız. Nedenini bilmeyen ekip bir sonraki testi kuramaz.

Google Optimize kapandı, yerine ne kullanılmalı?

Google, Optimize ve Optimize 360’ın 30 Eylül 2023 itibarıyla kullanılamadığını duyurdu ve üçüncü taraf entegrasyonlarını önerdi. Bugün üç yol var: reklam platformlarının kendi deney araçları, ücretli test araçları ve kendi altyapınızda sunucu taraflı test. Reklam tarafı için platformun kendi aracı çoğu ekibe yeter.

A/B testinde hangi metriğe bakılmalı?

Mümkün olan en gelire yakın metriğe. Tıklama ya da açılma oranı yön gösterir ama karar vermez. Form sayısı arttığı hâlde gelen taleplerin niteliği düştüyse test kazanmamıştır. Bu yüzden test metriği baştan, satış tarafının gerçek saydığı eylemle birlikte seçilmelidir.

Test sonucu belirsiz çıkarsa ne yapılmalı?

Belirsizlik de bir cevaptır ve genellikle değişikliğin etkisiz olduğu anlamına gelir. Bu durumda testi uzatmak yerine hipotezi gözden geçirin: ya gözlem yanlıştı ya da değişiklik kullanıcının kararını etkileyecek kadar güçlü değildi. Daha büyük bir değişikliği test etmek, aynı küçük değişikliği daha uzun süre beklemekten verimlidir.