Generator planu testu A/B

Próba, czas i MDE dla wiarygodnego testu

Bezpieczne (SSL)

Przetwarzanie Lokalne

100% Darmowe

Przejdź do narzędzia

Instrukcja

1

Wprowadź dane
Wpisz treść, wklej tekst lub załaduj plik z dysku.
2

Kliknij przycisk
Narzędzie natychmiast przetworzy Twoje dane w przeglądarce.
3

Pobierz wynik
Skopiuj gotowy tekst lub zapisz plik na urządzeniu.

                                                function runTool() {

                                                  return "Wynik gotowy w 0.1s";

                                                }

Hipoteza

Metryka główna

Konwersja bazowa

Ile procent użytkowników konwertuje dziś.

MDE (zmiana względna)

Najmniejszy wzrost wart wykrycia, liczony względem bazy.

Ruch dzienny

Użytkownicy odwiedzający testowaną stronę.

Udział ruchu w teście

Jaką część ruchu kierujesz do testu.

Ile dni możesz testować

Opcjonalnie: pokażemy, jaki efekt wykryjesz w tym czasie.

Warianty

Poziom ufności

Moc testu

Czas trwania testu

14 dni OK

Szybki test. Potrzebujesz 13 911 użytkowników na wariant (27 822 łącznie), czyli ≈ 2 tyg. testu.

Próba na wariant

13 911 użytkowników

Łącznie w teście

27 822 użytkowników

Liczba wariantów: 2

Do pełnych tygodni

2 tyg.

Dokładnie ≈ 2 tyg.

Wykrywana poprawa

3% → 3,6%

MDE 20% względnie (+0,6 p.p.)

Ruch w teście

2 000 os./dzień

Cały ruch dzienny

Ufność / moc

95% / 80%

Test dwustronny

Co wykryjesz w 28 dni Przy 28 000 użytkownikach na wariant wykryjesz zmianę względną od 14%, czyli z 3% do 3,42%. Twoje MDE (20%) mieści się w tym czasie.

Gotowy plan testu

PLAN TESTU A/B Hipoteza: Zmiana koloru CTA na kontrastowy zwiększy konwersję. Metryka główna: konwersja na zapis Warianty: A (kontrola), B (równy podział ruchu, po ok. 50% użytkowników). Konwersja bazowa: 3% Minimalny wykrywalny efekt (MDE): 20% względnie, czyli z 3% do 3,6% (+0,6 p.p.) Poziom ufności: 95%, moc testu: 80% Wymagana próba: 13 911 użytkowników na wariant, 27 822 łącznie Ruch w teście: 2 000 użytkowników dziennie Czas trwania: 14 dni (≈ 2 tyg.), do pełnych tygodni: 2 tyg. Zasady prowadzenia testu: - Nie kończ testu przed zebraniem pełnej próby, nawet jeśli wynik wygląda na istotny. - Nie zmieniaj wariantów ani podziału ruchu w trakcie testu. - Zakończ test po pełnych tygodniach, aby uwzględnić wszystkie dni tygodnia. - Brak istotnego wyniku oznacza, że nie wykryto efektu o rozmiarze MDE lub większego, a nie że efektu nie ma.

851 znaków · 136 słów · 17 linii

Ściąga do planowania testu

Jak MDE wpływa na próbę i czas
MDE (względny)	Zmiana (p.p.)	Próba / wariant	Czas	Uwagi
5%	0,15	207 938	208 dni
10%	0,3	53 209	54 dni
20%	0,6	13 911	14 dni	Twoje MDE
30%	0,9	6 452	7 dni
50%	1,5	2 515	3 dni

Czas testu przy różnym ruchu dziennym
Ruch / dzień	Czas (dni)	Pełne tygodnie
500	56	8
1 000	28	4
2 000 (Twój)	14	2
5 000	6	1
10 000	3	1
50 000	1	1

Jak liczymy wielkość próby

n = (z + zβ)² · [p1(1−p1) + p2(1−p2)] / (p2−p1)². U Ciebie: z = 1,96, zβ = 0,8416, p1 = 3%, p2 = 3,6%, więc n = 13 911 użytkowników na wariant. Czas = próba × liczba wariantów ÷ ruch dzienny w teście.

Czym jest MDE

MDE to najmniejsza zmiana, którą test ma szansę wykryć. Podajesz ją względnie: 20% z bazowych 3% to +0,6 p.p. Mniejsze MDE wymaga dużo większej próby: zmniejszenie go o połowę wydłuża test około czterokrotnie.

Ufność i moc

Ufność 95% oznacza akceptowane ryzyko fałszywego alarmu na poziomie 5%. Moc 80% to szansa wykrycia efektu o rozmiarze MDE, jeśli naprawdę istnieje. Wyższa ufność lub moc to większa próba.

Typowe pułapki

Nie zatrzymuj testu po pierwszym „istotnym” wyniku, bo podglądanie zaniża wiarygodność. Nie zmieniaj wariantów w trakcie. Kończ w pełnych tygodniach, bo zachowanie użytkowników zmienia się w ciągu tygodnia. Brak istotnego wyniku nie dowodzi braku efektu.

Kilka wariantów naraz

Każdy dodatkowy wariant wydłuża test (próba × liczba wariantów) i zwiększa ryzyko przypadkowego „zwycięzcy”. Ten kalkulator nie stosuje korekty na wielokrotne porównania, więc przy 3–4 wariantach traktuj wynik jako dolne oszacowanie.

Oceń to narzędzie:

Powiązane narzędzia

Inne narzędzia, które mogą Ci się przydać

Generator planu testu A/B

Test A/B bez wcześniejszego wyliczenia próby to zgadywanie. Ten planer mówi, ilu użytkowników i ile czasu potrzebujesz, aby wynik był wiarygodny.

Wzór (uproszczony)

n = 16 × p(1−p) ÷ Δ²

gdzie p to konwersja bazowa, a Δ to wykrywana różnica bezwzględna. Stała 16 odpowiada ufności 95% i mocy 80%.

Interpretacja

Parametr	Znaczenie
MDE	najmniejszy efekt, jaki test wykryje
Ufność	95% = 5% szansy na fałszywy alarm
Moc 80%	80% szansy wykrycia realnego efektu

Jak nie zepsuć testu

nie podglądaj wyników i nie zatrzymuj testu przed czasem (peeking),
testuj jedną zmianę naraz,
ustal metrykę sukcesu przed startem,
uwzględnij pełne cykle tygodniowe (weekend vs dni robocze).

Jak planer zamienia konwersję i MDE na liczbę użytkowników

Planer przyjmuje dwie wartości wejściowe: konwersję bazową p oraz najmniejszą różnicę Δ, którą chcesz wykryć. Najpierw liczy wariancję wyniku dla pojedynczego użytkownika, czyli p(1−p). Ten iloczyn mówi, jak bardzo wynik może się wahać, gdy zdarzenie jest rzadkie albo częste. Dla p=0,5 wariancja jest największa, a dla skrajnych wartości mniejsza.

Następnie planer podstawia wariancję i Δ do wzoru n = 16 × p(1−p) ÷ Δ². Stała 16 odpowiada założeniom 95% ufności i 80% mocy. Wynik n oznacza liczebność jednej grupy, czyli jednego wariantu. W klasycznym A/B potrzebujesz dwóch takich grup, więc łączna liczba użytkowników to 2 × n. Jeśli planer pokazuje czas trwania, dzieli tę łączną próbę przez dzienny ruch kwalifikujący się do testu.

Kluczowa zależność jest kwadratowa: gdy Δ zmniejszasz dwukrotnie, mianownik Δ² maleje czterokrotnie, więc próba rośnie czterokrotnie. Dlatego tak trudno wykryć bardzo małe efekty. Wzór jest uproszczony, ale dobrze pokazuje rząd wielkości i pozwala odrzucić testy, które z góry nie mają szans na wiarygodny wynik.

Przykład obliczenia krok po kroku

Zakładasz, że konwersja bazowa wynosi p = 0,05, czyli 5%. Chcesz wykryć poprawę o Δ = 0,01, czyli 1 punkt procentowy.
Liczysz wariancję: p(1−p) = 0,05 × 0,95 = 0,0475.
Podstawiasz do wzoru: n = 16 × 0,0475 ÷ 0,01² = 0,76 ÷ 0,0001 = 7600. To próba na jeden wariant.
Dla testu A/B potrzebujesz dwóch wariantów, więc łączna próba wynosi 2 × 7600 = 15200 użytkowników.
Jeśli dziennie kwalifikuje się 3800 użytkowników, samo zebranie próby zajmie 15200 ÷ 3800 = 4 dni. Przy pełnych cyklach tygodniowych zaplanuj jednak dłuższy okres, aby objąć weekend i dni robocze.
Gdybyś chciał wykryć dwa razy mniejszą różnicę, Δ = 0,005, to Δ² = 0,000025, a n = 0,76 ÷ 0,000025 = 30400 na wariant. Łącznie 60800 użytkowników, czyli czterokrotnie więcej niż przy Δ = 0,01.

Tabela referencyjna: ile osób na wariant

Konwersja bazowa p	Wykrywana różnica Δ	Próba na wariant n
0,50	0,10	400
0,20	0,05	1024
0,10	0,02	3600
0,05	0,01	7600
0,03	0,01	4656
0,02	0,005	12544
0,01	0,005	6336
0,01	0,002	39600

Jak używać planera w praktyce

Zamień procenty na proporcje. Konwersję 5% wpisz jako 0,05, a różnicę 1 punktu procentowego jako 0,01. Mieszanie procentów i proporcji prowadzi do błędnej próby.
Ustal MDE przed startem. Najpierw zdecyduj, jaka różnica ma znaczenie biznesowe, a dopiero potem sprawdzaj, czy stać Cię na taką próbę. Nie wybieraj MDE po zobaczeniu wyników.
Przelicz próbę na czas z realnego ruchu. Użyj liczby użytkowników, którzy faktycznie mogą wejść do testu, a nie całego ruchu w analytics. Podziel łączną próbę przez dzienny ruch kwalifikujący się do eksperymentu.
Zaokrąglaj w górę i dodaj zapas. Wynik traktuj jako minimum. W praktyce dołóż kilka procent na utratę danych, boty, duplikaty i nierówny podział, jeśli chcesz mieć bezpieczny plan.
Zapisz założenia w jednym miejscu. W planie testu trzymaj p, Δ, wymaganą próbę, datę startu i metrykę sukcesu. Dzięki temu nie zmienisz reguł w trakcie ani nie zinterpretujesz szumu jako efektu.

Czego planer nie uwzględnia

Losowości i jakości podziału. Wzór zakłada niezależne, losowe przypisanie użytkowników do wariantów. Jeśli podział jest nierówny albo ruch pochodzi z botów, obliczona próba nie przełoży się na wiarygodny wynik.
Wielu metryk i porównań. Planer liczy próbę dla jednej konwersji i jednego porównania. Przy wielu metrykach lub segmentach rośnie ryzyko fałszywego alarmu i potrzebna jest korekta, której wzór nie zawiera.
Efektu nowości i sezonowości. Narzędzie nie wie, czy użytkownicy reagują na zmianę tylko dlatego, że jest nowa, ani jak święta, kampanie czy zmiany w kanałach wpłyną na konwersję.
Zależności między użytkownikami. Wzór traktuje każdego użytkownika jako niezależną obserwację. W praktyce powracający użytkownicy, wspólne konta, sieci reklamowe i efekt sieciowy mogą zaburzyć to założenie.

Najczęstsze pytania

Dlaczego mały MDE wymaga takiej próby?

Próba rośnie odwrotnie proporcjonalnie do kwadratu efektu — zmniejszenie MDE o połowę czterokrotnie zwiększa potrzebną próbę.

Czy mogę zmienić wariant w trakcie?

Nie — unieważnia to wyniki. Zakończ test i zacznij nowy.

Co jeśli ruchu nie wystarczy?

Testuj większy efekt (np. przeprojektowanie zamiast zmiany koloru) lub zbieraj dane dłużej.

Jak obliczyć wielkość próby do testu A/B?

Użyj wzoru n = 16 × p(1−p) ÷ Δ², gdzie p to konwersja bazowa, a Δ to wykrywana różnica bezwzględna. Wynik n to liczebność jednego wariantu, więc dla A/B potrzebujesz łącznie 2 × n użytkowników.

Co to jest MDE w teście A/B?

MDE to najmniejszy efekt, jaki test ma szansę wykryć przy założonej ufności i mocy. Im mniejszy MDE, tym większa próba, ponieważ próba rośnie odwrotnie proporcjonalnie do kwadratu różnicy.

Ile dni powinien trwać test A/B?

Czas zależy od wymaganej próby i dziennego ruchu kwalifikującego się do testu. Podziel łączną próbę przez dzienny ruch, a wynik potraktuj jako minimum; przy pełnych cyklach tygodniowych zaplanuj okres obejmujący weekend i dni robocze.

Czy wzór n = 16 × p(1−p) ÷ Δ² jest dokładny?

To uproszczenie dla 95% ufności i 80% mocy, które daje dobry rząd wielkości. Dokładniejsze kalkulatory mogą dodawać korekty na skończoną populację, nierówny podział lub inne założenia statystyczne.

Czy mogę policzyć próbę dla dwóch wariantów i jednej metryki?

Tak. Policz n dla jednego wariantu, a następnie pomnóż przez liczbę wariantów. Jeśli testujesz A/B, potrzebujesz 2 × n; przy większej liczbie wariantów łączna próba rośnie proporcjonalnie.