Page A/B tests and postal-code autofill
Testing another version of a storefront page against the published one, who is counted and how consent is kept, reading the results honestly and publishing the winner, and checkout filling in the city and province from the postal code.
6 chapters · 3:24 · narrated in English · captions in English and French
Module 58 · 6 chapters · 3:24
Page A/B tests and postal-code autofill
Testing another version of a storefront page against the published one, who is counted and how consent is kept, reading the results honestly and publishing the winner, and checkout filling in the city and province from the postal code.
Example store: Maple & Brass, a jewellery shop in Toronto. Names, addresses and figures are made up.
Transcript
01 Build a version, start a test
An A/B test shows part of your visitors another version of a published page. Build that version first: in “Pages”, “Duplicate page” makes a draft copy for you to change.
The copy stays a draft, so visitors never see it at an address of its own. Then open “A/B tests” under “Channels” and click “New test”.
Choose the “Page to test” and the goal: a visitor converts when they add to the cart, start checkout, place an order, or click in a section you choose.
02 The versions and who sees them
Under “Versions to test against the original”, click “Add version”, up to three. For each, choose the page it comes from and “What changes”: “The whole page” or “One section”.
“One section” swaps one section of the page for one from the other page. The original is always the page as published, and the versions are copied when the test starts.
Set “Visitors in the test (%)”: the rest see the published page and are not counted. Shares are relative, so 50 and 50 is an even split. A start and end time are optional.
03 Start it, and who is counted
Click “Create test”, then “Start”: within a minute, visitors in the test see their version. Each keeps the same version on every visit, for 90 days after their last visit to the page.
Visitors are counted only where your store’s statistics may run. A shopper who has not allowed analytics in your cookie banner sees the published page and is not counted.
The test keeps a random visitor number in a cookie, removed when the shopper turns analytics off. Search engines see the published page, and its address and title stay the same.
One test runs on a site at a time, on a page with one language version.
04 Read the results
Click “Results” on a test. Each version shows its “Visitors”, how many “Converted”, the “Rate”, and the “95% range”: where its true rate most likely lies.
Until every version has 100 visitors, the test has 20 conversions and it has run 7 days, the results say there is not enough data yet. Early differences are usually chance.
After that, a version is “Better” or “Worse” than the original only at 95% confidence, and the bar rises with more versions. Otherwise the results say there is no clear difference.
05 Stop, or choose the winner
“Stop” shows everyone the published page again, and “Resume” carries on with the same versions. A test that reaches its end time stops showing versions on its own.
“Choose” beside a version ends the test. A version’s sections become the published page, and choosing the original leaves the page as it is.
If the page has unpublished changes in the builder, publish or discard them first. Deleting a test deletes its results, and deleting the page deletes its tests.
06 City and province from the postal code
At checkout in Canada and the United States, a whole postal or ZIP code fills in the province or state, and the city when the code names one. The account address book does too.
Only an empty box is filled: nothing the shopper typed or picked is changed. “Filled from your postal code.” shows under it with “Undo”, which empties what was filled.
An unknown Canadian code fills only the province, from its first three characters. The lookup runs on BestWebby’s own servers. Next: your privacy incident register.
Transcription en français
01 Créer une version, lancer un test
Un test A/B montre à une partie des visiteurs une autre version d’une page publiée. Créez-la d’abord : dans « Pages », « Duplicate page » fait une copie brouillon à modifier.
La copie reste un brouillon : les visiteurs ne la voient jamais à sa propre adresse. Ouvrez ensuite « A/B tests » sous « Channels » et cliquez sur « New test ».
Choisissez la « Page to test » et l’objectif : un visiteur convertit s’il ajoute au panier, commence le paiement, commande, ou clique dans une section choisie.
02 Les versions et qui les voit
Sous « Versions to test against the original », cliquez sur « Add version », trois au plus. Pour chacune, la page source et « What changes » : « The whole page » ou « One section ».
« One section » remplace une section de la page par une de l’autre page. L’original est toujours la page publiée, et les versions sont copiées au lancement du test.
Réglez « Visitors in the test (%) » : les autres voient la page publiée, sans être comptés. Les parts sont relatives : 50 et 50, moitié-moitié. Début et fin sont facultatifs.
03 Le lancer, et qui est compté
Cliquez sur « Create test », puis « Start » : en une minute, les visiteurs du test voient leur version. Chacun la garde à chaque visite, 90 jours après sa dernière visite de la page.
Les visiteurs ne sont comptés que là où les statistiques peuvent tourner. Qui n’a pas accepté l’analyse dans votre bandeau de témoins voit la page publiée et n’est pas compté.
Le test garde un numéro de visiteur aléatoire dans un témoin, retiré si l’acheteur désactive l’analyse. Les moteurs voient la page publiée, dont l’adresse et le titre ne changent pas.
Un seul test tourne par site à la fois, sur une page en une seule langue.
04 Lire les résultats
Cliquez sur « Results » d’un test. Chaque version montre ses « Visitors », combien ont « Converted », le « Rate » et la « 95% range » : où son vrai taux se situe le plus probablement.
Tant que chaque version n’a pas 100 visiteurs, le test 20 conversions et 7 jours de marche, les résultats disent que les données manquent. Les écarts du début sont souvent le hasard.
Ensuite, une version n’est « Better » ou « Worse » que l’original qu’à 95 % de confiance, et le seuil monte avec plus de versions. Sinon, les résultats disent qu’il n’y a pas d’écart net.
05 Arrêter, ou choisir la gagnante
« Stop » remontre à tous la page publiée, et « Resume » reprend avec les mêmes versions. Un test arrivé à son heure de fin cesse de lui-même d’afficher les versions.
« Choose » à côté d’une version termine le test. Les sections de la version deviennent la page publiée, et choisir l’original laisse la page telle quelle.
Si la page a des changements non publiés dans l’éditeur, publiez-les ou annulez-les d’abord. Supprimer un test supprime ses résultats ; supprimer la page supprime ses tests.
06 Ville et province d’après le code postal
Au paiement au Canada et aux États-Unis, un code postal ou ZIP complet remplit la province ou l’État, et la ville si le code en nomme une. Le carnet d’adresses du compte aussi.
Seule une case vide est remplie : rien de ce que l’acheteur a saisi n’est changé. « Filled from your postal code. » s’affiche dessous avec « Undo », qui vide ce qui a été rempli.
Un code canadien inconnu ne remplit que la province, d’après ses trois premiers caractères. La recherche se fait sur les serveurs de BestWebby. Ensuite : votre registre des incidents.
Next on the path: Module 59, Your privacy incident register.
Narration is synthesised on our own servers from the script above, in a public-domain voice. Voice credits.