מבחן A/B - כמה נתונים צריך כדי להסיק משהו
עודכן · צוות התוכן של Vixy
מבחן A/B מציג שתי גרסאות לקהלים דומים באותו זמן, ומשווה ביניהן במדד אחד שהוגדר מראש. השאלה המעשית אינה איך מריצים אותו אלא מתי מותר להסיק ממנו: הפרש בין שתי גרסאות הוא ממצא רק כשהוא גדול מטווח אי-הוודאות של המדגם שנאסף.
כמה קליקים לגרסה, במספרים
הטבלה מציגה את אותו אחוז המרה בדיוק, 2.5%, על ארבעה גדלי מדגם, יחד עם טווח אי-הוודאות של 95%. החישוב הוא רווח בר-סמך בשיטת Wilson, אותה נוסחה שרצה בבדיקת בריאות הקמפיין שלנו.
| קליקים לגרסה | לידים | אחוז המרה | טווח של 95% |
|---|---|---|---|
| 200 | 5 | 2.50% | 1.07% עד 5.72% |
| 400 | 10 | 2.50% | 1.36% עד 4.54% |
| 1,000 | 25 | 2.50% | 1.70% עד 3.66% |
| 2,000 | 50 | 2.50% | 1.90% עד 3.28% |
בשורה הראשונה הטווח רחב יותר מהמספר עצמו. כלומר אחרי 200 קליקים לא ידוע אם מדובר בגרסה שממירה אחוז אחד או כמעט שישה.
מקור: פונקציית wilson ב-/tools/campaign-health-check
ההשוואה שנראית חד-משמעית ואינה
גרסה א: 5 לידים מ-200 קליקים, כלומר 2.50%. גרסה ב: 8 לידים מ-200 קליקים, כלומר 4.00%. ההפרש נראה כמו שיפור של 60%, וכל דוח היה מציג אותו ככזה.
הטווחים: גרסה א נעה בין 1.07% ל-5.72%, גרסה ב בין 2.04% ל-7.69%. הם חופפים כמעט לכל אורכם. שלושה לידים הפרש על מדגם כזה הם רעש, וכיבוי גרסה א כאן הוא הימור.
זו הסיבה שרוב מבחני ה-A/B בעסקים קטנים מסתיימים במסקנה שגויה: לא בגלל טעות בהרצה, אלא בגלל עצירה מוקדמת מדי.
מה זה עולה, ומה עושים במקום
בעסק שמשלם 100 ש"ח לליד, 25 לידים לגרסה עולים 2,500 ש"ח, ומבחן של שתי גרסאות עולה 5,000 ש"ח ומגיע רק לשורה השלישית בטבלה.
לרוב העסקים הקטנים זה לא כדאי, וזו מסקנה כנה ולא כישלון. שלוש חלופות שעובדות בתקציב הזה:
- להשוות במדד מוקדם וזול יותר כמו אחוז הקלקה, שנאסף על אלפי חשיפות ולא על עשרות לידים. הוא לא עונה על אותה שאלה, והוא כן מפריד בין מודעה שנראית לבין מודעה שנעלמת.
- לבחון הבדלים גדולים בלבד. הצעה אחרת לגמרי, לא כותרת בניסוח שונה. שינוי גדול נותן הפרש שנראה גם במדגם קטן.
- לשנות ברצף ולהשוות תקופות. פחות מדויק, וזול. מספיק כדי לזהות שינוי משמעותי, ולא מספיק לשיפור של אחוזים בודדים.
שלושה כללים שמונעים את רוב הטעויות
מדד אחד, שנקבע מראש. מבחן שנשפט על אחוז הקלקה, ואם זה לא מסתדר אז על מחיר ליד, ואם גם זה לא אז על מספר הפניות, ימצא תמיד גרסה מנצחת. הבחירה במדד אחרי שרואים את התוצאות היא הדרך הבטוחה להסיק כל דבר.
משתנה אחד בכל פעם. שתי מודעות שנבדלות בתמונה, בכותרת ובהצעה עונות על השאלה "איזו מהשתיים עדיפה" ולא על השאלה "מה גרם להבדל". השנייה היא זו שאפשר להשתמש בה שוב.
אותו חלון זמן. גרסה שרצה בשבוע של חג מול גרסה שרצה בשבוע רגיל אינה מבחן. שתיהן צריכות לרוץ במקביל, ובאותו קהל.
איפה להריץ את המבחן
ברמת המודעה, לא ברמת קבוצת המודעות. פיצול לשתי קבוצות מחלק גם את אירועי הלמידה, ואז שתי הגרסאות רחוקות מהרף שממנו הביצועים מתייצבים. הפירוט המלא בערך CBO. כמה מודעות בתוך קבוצה אחת שומרות על נפח האירועים במקום אחד.
מה שכן שווה לבדוק ברמה הזאת: הקופי של המודעה, והכפתור שנבחר. שניהם משנים את התנהגות הקהל בלי לגעת במבנה הקמפיין.
מה לא לבדוק בכלל
שינויים שההפרש הצפוי מהם קטן מטווח אי-הוודאות: ניסוח חלופי של אותה כותרת, גוון אחר לאותה תמונה, מיקום מעט שונה של אותו כפתור. לא בגלל שהם לא משפיעים, אלא בגלל שבנפח של עסק קטן אי אפשר יהיה לדעת אם השפיעו.
כלי חינמי בנושא
בדיקת בריאות קמפיין - בלי הרשמה, בלי חיבור חשבון, והמספרים לא יוצאים מהדפדפן.
שאלות נפוצות
- כמה זמן צריך להריץ מבחן A/B?
- עד שנאסף מספיק נפח, ולא מספר ימים קבוע. הטבלה בעמוד הזה מראה את הקשר: ב-200 קליקים לגרסה טווח אי-הוודאות רחב מהמספר עצמו, וב-1,000 קליקים הוא מצטמצם לכדי מסקנה. שבוע אחד מספיק לקמפיין גדול ולא מספיק לקמפיין קטן, ולכן הזמן הוא תוצאה של הנפח ולא תנאי בפני עצמו.
- אפשר להריץ מבחן A/B בתקציב קטן?
- על אחוז המרה, לרוב לא. בעסק שמשלם מאה שקלים לליד, מבחן שמגיע לעשרים וחמישה לידים לכל גרסה עולה כחמשת אלפים שקלים. מה שכן עובד בתקציב הזה: השוואה על אחוז הקלקה, שנאסף על אלפי חשיפות; בדיקת הבדלים גדולים בלבד; או שינוי ברצף והשוואת תקופות.
- יש לי 5 לידים בגרסה אחת ו-8 בשנייה. אפשר להכריע?
- לא. על מאתיים קליקים לכל גרסה, הטווח של הראשונה נע בין אחוז ושבע מאיות לחמישה ושבעים ושתיים מאיות, והטווח של השנייה בין שניים וארבע מאיות לשבעה ושישים ותשע מאיות. הם חופפים כמעט לכל אורכם. ההפרש נראה כמו שישים אחוז שיפור והוא שלושה לידים של מזל.
- לבדוק ברמת קבוצת המודעות או ברמת המודעה?
- ברמת המודעה, כמעט תמיד. פיצול לשתי קבוצות מודעות מחלק גם את אירועי הלמידה, ואז אף אחת מהן לא מגיעה לרף שממנו הביצועים מתייצבים, כך שהמבחן והקמפיין נפגעים יחד. כמה מודעות בתוך קבוצה אחת שומרות על נפח האירועים במקום אחד ומאפשרות השוואה נקייה יותר.
מונחים קרובים
המדריכים המלאים
מי כתב את זה
צוות התוכן של Vixy - הצוות שבונה את מערכות הפרסום, ניהול הלקוחות וניתוח השיחות של Vixy. כל ערך כאן נשען על חישוב, על רף שהפלטפורמה מפרסמת, על הדין הישראלי או על מספר מתוך המערכת שלנו. כשאין לנו נתון מבוסס, זה רשום במפורש. עוד על איך Vixy עובדת.