O odhadech v PPC

Digichef

Vždy mě zajímalo, zda nám mohou být přesné vědy, matematika a statistika, nějak platné při našem spravování PPC kampaní. V následujícím článku se tomu zlehka podívám na zoubek.

Prohlášení o (ne)odpovědnosti

Na začátek si dovolím pár osobnějších poznámek (rozuměj alibismů), abych nemohl být později někým nařčen, že píši o něčem, o čem moc nevím. Statistikou jako vědou jsem políben opravdu jen velmi letmo: samozřejmě, že vím, že aritmetický průměr, modus a medián jsou tři rozdílné věci a dokonce, když mi dáte tu správnou funkci (jejíž teoretický název jsem už dávno zapomněl) se správně experimentálně vyzkoumanými konstantami, tak Vám jsem schopen spočítat, s jakou pravděpodobností za 5 let po svém prvním infarktu umřete. To se hodí, ne? :-)

image

Statistika

Motivace

Bohužel, nikam dále mé znalosti statistiky a teorie pravděpodobnosti nesahají. Nicméně, dělat PPC jde ale dle mého názoru velmi dobře i bez těchto teoretických znalostí. Přesto mi častokrát při své práci PPC specialisty hlodá hlavou, zda některé mé hypotézy – tj. provedené změny na kampaních – mají kýžený efekt a za zlepšení může genialita mých nápadů :-), anebo to prostě jen byla nějaká neidentifikovatelná schválnost nepředvídatelné náhody.

Abych vysvětlil, o co mi jde, vymyslím si jednoduchý, názorný a stupidní příklad (tzn. prakticky se nikde nic takového neděje): klient X má za první měsíc 1 000 prokliků při ceně 10 Kč/proklik a zobrazuje se na průměrné pozici 4,0. To mu přinese, dejme tomu, 10 konverzí.

Hypotéza na druhý měsíc: co kdybych zvýšil nabídku CPC, klient by v druhém měsíci získal stejný počet prokliků (1 000), ale zobrazoval se na průměrné pozici 2,0. Průměrná cena za proklik by byla 15 Kč (a náklady na investici v systému o 50 % větší), ale klient by přitom získal konverzí nikoliv 15, ale 17 (o 70 % více).

Mnohem lépe než kdy budu schopen já, to formuluje Avinash Kaushik následujícími slovy – na svém blogu se ptá: „How do we make recommendations / decisions with confidence? How can we drive action rather than pushing data? The challenge is how to separate Signal from Noise and make it easy to communicate that distinction.“ (Mimochodem, název jeho blogu, Occam's Razor, je pro mě jako napůl-vystudovaného filozofa mimořádně přitažlivý. Jen mít dost času si blog pořádně prostudovat. A to, že bude headlinerem letošního českého Marketing Festivalu tady asi nemusím nikomu sdělovat.)

Mini ex post case study

Se svými současnými znalostmi bohužel nejsem schopen tato přesná a důvěryhodná doporučení/rozhodnutí, o kterých Kaushik hovoří, poskytovat. Ale chci vám alespoň představit malou ex post case study, a to právě s pomocí rad od Avinashe Kaushika a jeho excelovského nástroje, který uveřejnil na svém blogu v postu Excellent Analytics Tip#1: Compute Statistical Significance.

 

O co u nás v Sunu tehdy šlo? Před nějakou dobou jsme jednomu klientovi navrhli zvýšit investici v systémech (a tím navýšit návštěvnost jeho webu z PPC), přičemž jsme „by očko“ navrhli nějakou hypotézu, o kolik konverzí více – když zvýšíme návštěvnost/investici o tolik a tolik – to přinese oproti původní návštěvnosti/investici. Naše hypotéza – návrh, na kterém jsme se dohodli – zněla: zvýšíme-li návštěvnost o 50 %, zvýší se i počet konverzí o 50 %. Klient chtěl z PPC více konverzí, takže nám na náš návrh bez problémů kývl.

Abych se konečně dostal i k nějakým číslům, vybral jsem data za 30 dnů před uplatněním návrhu: níže v tabulce najdete reálná data z Google Analytics o návštěvnosti a konverzích za danou dobu (levý sloupec). V pravém sloupci je spočítaný odhad, co by náš tehdejší návrh měl přinést.

image

Naše odhady

Nyní se podívejme na screen z Kaushikova nástroje, doplněný o čísla výše, které jsem mírně upravil. Pro ilustrační účely by nemělo smysl tam zadávat stejná čísla, protože je snad každému banálně jasné, že v takovém případě (lineární závislost) by se nedalo hovořit ani o tom nejmenším statistickém šumu, natož o statisticky významném signálu. Místo hypotetických 16,5 konverzí jsem do tabulky zadal konverzí 20:

image

Naše odhady v Kaushikově nástroji

Jak je vidět, rozdíl konverzních poměrů není statisticky významný. Pokud bych se měl řídit čistě tímto statistickým teoretizováním, klidně jsme klientovi mohli slíbit, že těch konverzí bude mít třeba 25 a pořád bych se z tohoto statistického hlediska nemýlil. Schválně jsem si zkusil ve sloupci „Treatment“ zadávat různě velká a malá čísla konverzí a statisticky významný rozdíl by se neobjevil ani při 32 konverzích. Nejmenší počet konverzí, aby to bylo ještě v rámci statistického šumu, bylo 7 konverzí. Jinak řečeno, pokud byste v daném případě klientovi navrhli navýšení návštěvnosti o 50 % a získali tím 6 konverzí, už by to byl (statisticky vzato) signál, že vaše úprava byla naprostá hloupost. Je to samozřejmě nesmysl a banální zjištění, nepředpokládám, že by někdo někdo něco podobného navrhoval.

Na druhou stranu, navrhnout klientovi, že s o 50 % větším rozpočtem mu přinesete 30 konverzí (tj. cca o 173 % více konverzí v našem případě) by také nebylo moc moudré.

Ale vraťme se k mé mini ex post case study a dodejme do Kaushikova nástroje reálná data, která opravdu v našich Google Analytics najdeme. Nejprve tabulka, jak jsme si skutečně vedli:

image

Reálná data po uskutečnění našeho návrhu

V Kaushikově tabulce vypadají tato čísla následovně:

image

Reálná data v Kaushikově kalkulátoru

Jak je vidět, „treatment works“, klientovi jsme přinesli daleko více konverzí, než jsme očekávali (navrhovali) a než by bylo v rámci běžného statistického šumu ok. Problém je ale ten, že jde opravdu o ex post výsledky (připomínám, že náš původní odhad byl 16,5 konverzí, nikoliv 53). My jsme vlastně jen měli štěstí, že to navýšení rozpočtu přineslo takové pěkné výsledky. Naše původní hypotézy se držely v rámci něčeho, co bych nazval statistická opatrnost. Vlastně jsme se při svých odhadech – hypotézách – zcela mýlili. Nicméně, jak je vidět, i mylný odhad (hypotéza) může přinést dobré výsledky. I když bohužel jen náhodou.

Závěr č. 1

Tím se dostávám zpátky k otázce, zda toto vše má vlastně nějaký smysl? Statistika je nádherná věda, ale využití pro PPC agentury naší velikosti nevidím snad žádné. Pokud jde o Kaushikův nástroj – jeho hlavním účelem je pomoc marketérům a analytikům činit rozhodnutí dopředu. Osobně si však nedokáži představit, jaká čísla bych tam mohl zadat a zároveň se je odvážil sdělit/navrhnout klientovi. A navíc, pořád si nejsem jist, zda těch několik tisícovek návštěv a několik desítek konverzí, které jsem tam zadal, je dostatečný počet dat, aby informace o statistické ne/významnosti byla relevantní. Otázky, které jsem si položil v úvodu, zdá se, zůstanou zatím bohužel nezodpovězeny.

Závěr č. 2 (poněkud optimističtější)

Na druhou stranu, ačkoliv jsem zatím nepřišel na příčinu, proč tomu tak je, u nejednoho klienta pozoruji, že významnější navýšení spendu v systémech častokrát vede i k navýšení konverzí, a to nikoliv pouze k navýšení lineárnímu. Ostatně i další kolegové z oddělení, jejichž názor je díky většímu počtu zkušeností mnohem více expertní, mi toto potvrzují. Tak že by to přece jen na konec nebyl u toho klienta šum, ale signál (kvalitnějšího spravování kampaní:-))?

  • Celkový průměr hodnocení: 4.2 z 5
  • 4.2
  • 4.2
  • 4.2
  • 4.2
  • 4.2

16. dubna 2014

K článku již nelze přidávat další komentáře.

  1. ales | 21. května 2014

    Dobrý den,

    chtěl bych se zeptat jakým způsobem se měří konverze v případě že PPC odkazuje na cílový web, kde je např. kontakt na obchoďáka dané firmy?

  2. Ondra Salamon | 26. května 2014

    Dobrý den Aleši,

    děkuji za dotaz. Jednotlivou stránku (právě například s kontaktem na obchoďáka) lze pomocí Google Analytics měřit jednoduše: stačí si v Analytics nastavit jako konverzní cíl příslušnou URL s kontaktem. Případně si na danou URL přidat měřící konverzní kód AdWords/Skliku. Pak tyto konverze uvidíte v rozhraních přímo.

    Ale návštěva stránky samozřejmě ještě nemusí znamenat, že uživatel opravdu daného obchoďáka kontaktoval. Proto bych takový způsob měření konverzí nedoporučoval.

    Dalším způsobem je např. měření kliknutí na email daného obchoďáka. To lze provést pomocí Event Trackingu Google Analytics. Více se dozvíte ve výborném článku Verči Brindzové: http://www.sunitka.cz/c/656-jak-na-udalosti-event-tracking-v-google-analytics/

    Ale opět platí, že kliknutí na "mailto:" ještě nemusí znamenat, že dotyčný obchoďákovi opravdu napsal. Nemluvě o tom, že email rozhodně není jediný způsob, jak někoho kontaktovat.

    Asi nejlepší řešení je umístit na příslušnou stránku jednoduchý kontaktní formulář na daného obchoďáka a měřit přímo ten. Uživatel vyplní své kontaktní údaje (jméno/nick, email, případně telefon či krátký text) a obchoďák se mu sám ozve. V takovém případě je intence uživatele jasná - opravdu měl zájem o kontakt:-) A to lze v daném případě pravděpodobně považovat za nejlepší možný způsob, jak takovou konverzi měřit.

    Doufám, že jsem alespoň zčásti odpověděl na Vaši otázku:-)

    Mějte se pěkně
    Ondra

  3. ales | 30. května 2014

    Děkuji za vyčerpávající odpověď.

    Z pohledu obchodníka:

    Co je efektivnější? Obchodní web (microsite) s jasnou výzou a vitielným telefonním číslem, nebo vyplňovací formuář?

    Oboje. Ale hlavně to číslo, protože kdo má zájem, nečeká a volá.

    Ale PPC specialista je odkázán na svědomitost obchoďáka (takže v praxi je bez provize, když někdo zavolá). Asi těžko přikáže klientovi aby smazal z webu čísla a dal tam jen formuláře, aby se mu to měřilo.

    Čili v určitých situacích je to neřešitelné dilema - to jsem potřeboval vědět.

  4. Birkof | 5. srpna 2014

    Jestli to navýšení budgetu nesouvisí s tím, se začne inzerát zobrazovat na více relevantnějších webech, respektive ve více relevantnějších situacích. Konec konců Sklik, a nejen on, musí z vás nějak ty peníze dostat, že? BTW: tohle zjištění mě celkem štve. Mimochodem konverze 0,44% je nic moc. Jako zákazník bych chtěl alespoň 1%.

  5. Daniel Nytra | 12. ledna 2015

    Dobrý den,
    zajímavý přístup. Je dost důležité zohlednit i aktuálně nenakupující: Budování databáze. Jednu takovou tabulku jsem vytvořil a doufám, že pomůže neprodělat v reklamních kampaní (což často začínající podnikatelé bohužel dělají).

    Článek i s video-návodem je zde: http://www.danielnytra.cz/nez-zacnete-znovu-cpat-penize-do-reklamni-kampane

    Doufám, že pomůže.

    Daniel