W tym teście testowane są dwie wersje stron docelowych, czyli wersja ‘A‘ – często zwaną stroną wyjściową lub stroną odniesienia oraz ‘B‘- alternatywna wersja strony A. W procesie testowania kolejnym internautom w sposób losowy zostaje wyświetlana jedna z tych dwóch wersji strony docelowej. Czyli generowany na stronie ruch jest dzielony między dwie wersje strony, na przykład 50/50 lub 50/60. Test dla tych obu wersji przeprowadzany jest równolegle. Jest to dość kluczowe, z tego względu, że testy prowadzone symultanicznie pozwalają kontrolować możliwie dużą liczbę czynników zewnętrznych. Losowy podział nowych odwiedzających między dwoma wersjami strony docelowej jest równie istotny, ponieważ element losowości leży u podstaw rachunku prawdopodobieństwa , który jest potrzebny do analizy statystycznej uzyskanych wyników.
Przedstawię teraz kilka zalet testu A/B jakie udało mi się zaobserwować.
Niewątpliwą zaletą tego testu jest jego prosta konstrukcja. Jest to przewaga nad testami wielowymiarowymi lub wieloczynnikowymi ponieważ nie trzeba ich w szczegółowy sposób planować. Jedyne co należy zrobić to postanowić ile wersji strony chcemy testować, a następnie w odpowiednich proporcjach kierować na nie odwiedzających. Kolejnym plusem jest to, że najlepsza wersja w pierwszym teście zostaje uznana za zwycięzcę. Nie trzeba przeprowadzać żadnych testów weryfikacyjnych.
Łatwe wdrożenie: Dostępne i darmowe oprogramowanie jak Google Website Optimizer umożliwia prowadzenie testów A/B. Jeżeli chcemy przetestować pojedyncze elementy strony, to projektujemy test, implementujemy go i zbieramy dane już po chwili. Bardzo pomocne, a raczej niezbędne narzędzie jako dodatkowe wykorzystywane podczas prowadzenia testów to narzędzia analityczne, dzięki którym możemy badać na bieżąco ruch na testowanych stronach. Jedną z aplikacji monitorujących jest Google Analytics.
Łatwa analiza i konkluzja: Wskazanie najlepszej wersji strony docelowej wymaga zastosowania najprostszych obliczeń statystycznych. Trzeba po prostu porównać wyniki uzyskane poprzez stronę A z wynikami uzyskanymi poprzez poszczególne nowe wersje po czym sprawdzić, czy udało się osiągnąć zamierzony poziom pewności.
Prosta prezentacja: Przedstawienie wyników uzyskanych w teście A/B nie wymaga skomplikowanych analiz. Można to przedstawić na procentach ile zwycięzca jest lepszy od wersji wyjściowej.
Elastyczne w definiowanie wartości zmiennych: Poddając testowi całościowe wersje stron www, ma się pełną swobodę dokonywania zmian w poszczególnych wersjach. Przykładowo w jednej wersji można zmienić sam nagłówek, a w innej całkowicie odmienić wygląd strony. Możliwość jednoczesnego testowania najróżniejszych zmian pozwala za jednym razem sprawdzić skuteczność zmian zarówno ewolucyjnych, jak i rewolucyjnych ? w tym wypadku w żaden sposób nie ograniczamy się do szczegółowego podejścia w definiowaniu różnych zmiennych.
Przydatność w warunkach niskiej przepustowości danych: Jest to idealny test dla witryn gdzie ilość konwersji dziennie jest mała. W takim przypadku zastosowanie skomplikowanych testów optymalizacyjnych nie ma sensu. Testy porównawcze w takim przypadku uzyskują naprawdę dobre wyniki i można zaobserwować duże usprawnienia zidentyfikowane właśnie dzięki testom A/B.
Zapraszam na małą prezentację testów A/B przeprowadzanych za pomoca programu Google Website Optimizer
A teraz ta mniej przyjemna część czyli wady testu A/B 
W teście porównującym wersję A do wersji B (można stosować również więcej wersji alternatywnych, lecz z reguły takie rozwiązanie rodzi więcej pytań niż odpowiedzi) liczba układów jest bardzo mała. Jeżeli na stronie którą chcemy optymalizować występuje duża liczba czynników, które możemy zmienić to i tak specyfika testu A/B wymusza jednak sprawdzanie poszczególnych zmian pojedynczo. Testowanie stron w ten sposób to w dużej mierze intuicyjne podejście, które pomysły testować najpierw ? trzeba odwołać się do swojego doświadczenia i spróbować wskazać te elementy, które mogą mieć największy wpływ na funkcjonowanie strony.
Inne metody optymalizacji pozwalają testować wiele cennych pomysłów jednocześnie i znaleźć wszystkie pożądane zmiany za pomocą pojedynczego testu. To co według mnie jest największym minusem to brak uwzględnienia współzależności zmiennych, czyli test A/B uwzględnia za jednym razem tylko jedną zmienną, w związku z czym wykrycie ewentualnych zależności między zmiennymi jest niemożliwe.
Dalej idąc, przeprowadzenie całej serii testów A/B nie pozwoli uzyskać tych samych wyników co test wieloczynnikowy prowadzony na tym samym zestawie zmiennych. Często przedmiotem testu są zmienne bardzo ogólne, o niskim stopniu uszczegółowienia. Ze względu na ograniczoną przepustowość danych niejednokrotnie jesteśmy zmuszeni do ‘strzelania’ podczas wyboru elementów strony, które mają być zmienione. Czyli widzimy brak metody na określenie znaczenia poszczególnych elementów. Elementy te mogą zakładać wprowadzenie wielu zmian jednocześnie. Dla przykładu nie jesteśmy w stanie stwierdzić czy dobre wyniki osiągamy dzięki zmianie nagłówka, czy koloru czcionki lub przycisku itd. W dalszym ciągu cierpimy z powodu relatywnego znaczenia poszczególnych zmiennych.
Na koniec mały przewodnik techniczny Google Website Optimizer w pliku pdf.
Zachęcam do testowania stron docelowych dzięki, którym jesteśmy w stanie osiągnąć wysoką jakosć naszych stron docelowych, za czym idzie oczywiście ich konwersyjnść.