Ab Testing ile HLC Healthcare Pazarlama Stratejisinin Belirlenmesi

Merhabalar bu çalışmada HLC Healthcare adlı şirketimiz için AB Testing uygulayarak en iyi pazarlama stratejisini belirlemeye çalışacağız. Öncelikle AB Testing nedir ve niçin kullanılır bundan bahsedelim.

AB Testing diğer adıyla bağımsız iki örneklem t testi iki grubun metrikleri ortalamaları arasında istatistiksel olarak anlamlı bir fark olup olmadığının gösterilmesidir. Örnek vermek gerekirse bir e ticaret firmasında kullanıcılar satın alma buton rengi mavi mi olduğunda daha çok tıklama yapıyorlar yoksa yeşil mi olduğunda sorusunun cevabını veya iki pazarlama takımından hangisi daha çok satış yapıyor sorusuna cevabımızı AB Testing ile verebiliyoruz. Matematiksel farkların şansa bağlı olmayıp gerçekten fark olduğunu gösteren AB Testi için 2 varsayımımız var. Bu varsayımlar geçerliyse “Parametrik” test ile AB Testi uyguluyoruz. Bunlardan biri değişkenlerimizin normal dağıldığı varsayımı diğeri ise varyansların homojen yani eşit olduğu varsayımı. Peki bu varsayımlar sağlanmıyorsa ne yapacağız? Parametrik testler yerine “Non-Parametrik” testleri kullanıp AB Testing gerçekleştirebiliriz.

Problem: HLC Healthcare kullanıcılarına alışveriş yaptırmak için çeşitli zamanlarda “E-mail” ve “Push Notification (Mobil uygulamalar tarafından gönderilen bildirim)” göndermektedir ve bu iki stratejiden hangisinin daha etkili olduğunu görmek istemektedir. HLC Healthcare pazarlama faaliyetleri için kullanıcılarına E-mail mi göndermelidir yoksa mobil uygulamalarından Push Notification mu? Her iki işlemin de birim maliyeti aynıdır ve aynı servis sağlayıcının hizmetini kullanmaktadırlar.

Uygulama: Öncelikle her iki strateji için ne kadar gönderim yapıldığını, geri dönüşleri, satın alımları ve de toplam kazancın yer aldığı veri setini ve ilgili kütüphaneleri import ediyoruz.

Veride ilgili değişkenleri import edip veri hakkında genel bilgileri gördükten sonra satın alan kişi sayısında matematiksel olarak fark tespit ediyoruz ve bu farkın istatistiki olarak geçerliliği olup olmadığını görmek için AB Testi uyguluyoruz. AB Testi uygularken ilk adımımız ölçmeye çalıştığımız problemi hipotez haline getirmek yani çalışma hipotezimizi belirlemek. Biz bu çalışmada çeşitli değişkenlere AB Testi uygulayacağız ve her değişken için farklı hipotezler kuracağız. Hipotez oluştururken H0 hipotezi ve alternatif hipotez olan H1 hipotezini belirliyoruz.

h0 hipotezi: satın alım yapan kişi sayısında fark yoktur. m1 = m2

h1 hipotezi: satın alım yapan kişi sayısı farklıdır. m1 ≠ m2

Hipotezlerimizi test etmeden önce varsayımlarımızı kontrol etmek için “Normallik” ve “Varyans” testlerini uyguluyoruz. Normallik ve varyans varsayımlarımız da aslında birer hipotez fakat şu an bunları detaylandırmıyorum.

Bu testleri yorumlarken “p value” değerine bakıyoruz eğer p value değerimiz 0.05’ten küçükse h0 hipotezini reddediyoruz eğer büyükse h0 hipotezini reddedemiyoruz. Her bir varsayımımız da bir hipotez içerdiğinden aslında bu testlerde normallik ve varyans hipotezlerini test etmiş oluyoruz ve p value değerleri 0.05ten büyük olduğundan hem değişkenlerimiz normaldir hem de varyansları homojendir varsayımlarına göre hareket ediyor ve Parametrik test uyguluyoruz.

Parametrik test sonucunda p value değeri 0.05’ten büyük olduğu için h0 hipotezini reddedemiyoruz. E-mail ve Push Notification pazarlama stratejisi arasında istatistiki olarak satın alım yapan müşteri sayısında anlamlı bir farklılık yoktur. Yani gönderdiğimiz iletinin kaynağı değişmeksizin satın alım yapan müşteri sayımız aynı. Peki çalışma burada bitiyor mu? Bu bir AB Testi nasıl yapılırın kısa örneğiydi sadece. Bizim istediğimiz şey bir strateji geliştirmek. Dolayısıyla iki yöntem arasından hangisini seçeceğimize karar vermek için bir de geri dönüş oranlarını kontrol etmemiz gerekiyor.

Geri dönüş oranı değişkenimizi oluşturduktan sonra ortalamalarını kontrol ederek matematiksel bir fark olduğunu görüyoruz. Dolayısıyla AB Testi uygulamak için hipotezimizi kurduktan sonra varsayım kontrolüne geçiyoruz.

h0: geri dönüş oranları eşittir. p1=p2

h1: geri dönüş oranları eşit değildir. p1≠ p2

Her iki değişkenimiz de normallik varsayımına uymuyor bundan dolayı direkt olarak Non-Parametrik testi uygulamaya geçiyoruz.

Test sonucumuzda bu iki yöntem için geri dönüş oranlarının farklı olduğunu ve E-mail ile pazarlama yapılan müşterilerin daha çok dönüş yaptığını yani potansiyel müşteri adaylarımızın Push Notification’a göre daha fazla olduğunu görüyoruz. Peki bu durumda E-mail mi seçilmeli? Bunun için de her iki strateji için kazanç oranlarına bakıyoruz.

Kazanç oranları arasındaki farkın istatistiksel olarak anlamlı olup olmadığını görmek için yine hipotezimizi kurup AB Testi uyguluyoruz.

Varsayım kontrollerini hızlıca yaptıktan sonra varsayımlar sağlanmadığı için Non-Parametrik test kullanıp istatistiki farkın Push Notification lehine olduğunu görüyoruz. Peki bu fark neyi değiştiriyor? Push Notification ile müşteri sayımız azalmış olmasına rağmen müşteri başına kazancımız E-mail ile gelen müşteriden daha fazla. Fakat bu Push Notification stratejisini belirlememize yetmiyor çünkü her iki kampanya için geri dönüş oranlarıyla kazanç oranlarımızı çarptığımızda görüyoruz ki E-mail stratejisi daha yüksek vaziyette.

Yani E-mail stratejisiyle hem daha yüksek geri dönüş oranları yakalıyoruz hem de bütün geri dönüş yapan kullanıcılarımızın toplam satın alım miktarı Push Notification stratejisine göre daha yüksek. Sonuç olarak her iki stratejinin kendine göre faydaları var fakat HLC Healthcare için elimizdeki veriler ve analizler sonucunda E-mail ile pazarlama stratejisi Push Notification stratejisine göre daha iyi gözüküyor. Okuduğunuz için teşekkür ederim. “Geri dönüşlerinizi :)” bekliyorum.