Test A/B

Test A/B to bardzo popularna, łatwa do przeprowadzenia metoda badawcza pokazująca różnice w odbiorze dwóch wersji strony internetowej/aplikacji przez potencjalnych klientów.

Co możemy przeliczyć w teście A/B?

Test A/B służy do porównania dwóch wariantów, np.: dwóch wersji stron internetowych lub aplikacji mobilnych, choć może być również wykorzystany do porównania innego rodzaju pomiarów. Aby skorzystać z kalkulatora testu A/B należy wprowadzić liczbę sukcesów (np.: konwersja, kliknięcie) – czyli pozytywnych rezultatów oraz liczbę prób (np. liczbę wyświetleń stron). Wynik przedstawia przeliczony procent sukcesu dla każdego z wariantów oraz prawdopodobieństwo tego, na ile jeden z wariantów jest lepszy od drugiego. Oprócz wersji podstawowej na stronie znajdziemy także rozbudowaną wersję kalkulatora testu A/B o większej liczbie wariantów. W wyliczeniach uwzględniono odpowiednią poprawkę statystyczną na liczbę porównywanych wariantów.

Zastosowanie testu A/B

Test A/B uznawany jest za metodę badawczą związaną najbardziej z projektowaniem stron internetowych. Przykładem jego wykorzystania jest wpisanie do kalkulatora danych związanych na przykład z kliknięciem daną stronę, daną opcję, jeśli obie są stosunkowo podobne – w jednej mamy czerwone, a w drugiej dajmy na to niebieskie klawisze, czy też takie tło: test A/B pomoże wówczas ustalić, który wybór cieszy się większym powodzeniem wśród oglądających i na który warto postawić. Zazwyczaj stosuje się to w przypadku dwóch nowych stron testowych albo wtedy, gdy działającą już stronę porównujemy z jej nowszą lub starszą wersją – widzimy wtedy co wybrać, na czym się skupić lub czy wrócić do poprzedniej wersji, która była lepiej odbierana. Zazwyczaj test A/B odnosi się do dwóch przypadków różniących się jedną cechą, ale może też być wykorzystywany w przypadku kilku różnych cech obu/kilku wersji. Test ten stosuje się wówczas, gdy różnice stają się istotne statystycznie, co z kolei wylicza się, wykorzystując test proporcji. Wielką zaletą testu A/B jest szybkość i łatwość jego przeprowadzenia, a także odczytania i interpretacji wyników. Problemem jest z kolei to, że nie możemy sprawdzić wielu nanoszonych po sobie zmian, a także wyników optymalizacji, gdyż te uwzględniane są przez boty dopiero po jakimś czasie.
Test A/B po raz pierwszy sprawdzali inżynierowie Google w 2000 roku (nie zdał wówczas egzaminu z powodu wolnego działania oprogramowania), ale sam pomysł zaczerpnęli sprzed niemal wieku – w 1908 roku bardzo podobną metodę wymyślił angielski statystyk, niejaki William Sealy Gosset.