🧪마케터라면 알아야 할 테스트 프레임워크 (+템플릿)

#AB테스트 #다변수테스트 #ICE프레임워크

2022. 6. 13.

🧪마케터라면 알아야 할 테스트 프레임워크

2022.06.14 (36호) | 지난레터 | 웹으로보기

📮FROM. 그레이스

구독자님은 AB테스트 혹은 다변수 테스트에 대해 들어보신 적 있으신가요? 마케팅의 어떤 분야에서 일하든 꼭 해야하는 것을 하나 꼽아보자면 테스트(Test 혹은 Experiment)가 아닐까 싶어요. 콘텐츠, 유료 광고, 이메일, 웹푸시 등등 - 각 분야마다 영역은 다르겠지만 언제나 개선의 여지가 있을거에요.

테스트를 제대로 하려면 기본적으로 통계에 대한 지식이 조금은 있어야 하기에 어렵게 느껴지는게 사실이기도 해요. 마케터가 테스트를 하며 자주하는 실수를 정리한 이 글을 보시면 제가 무슨 말을 하는지 쉽게 이해하실 거에요.

제대로 하기가 쉽지 않은 영역임에도 불구하고 저는 여러분이 꼭 ‘테스트 마인드셋’을 가지고 작게나마 테스트를 시작해보시길 추천해드리고 싶어요. 지금 하고 있는 것이 ‘최선’ 혹은 ‘최고’의 방법이라고 보고 안주하기 보다, 언제나 더 나은 결과를 향해 열린 마음으로 새로운 아이디어를 검증해 볼 수 있기 때문이에요.

그래서! 이번 호 아티클은 Metadata라는 테크 회사가 운영하는 팟캐스트 에피소드 중 ‘테스트 프레임워크'에 대한 내용을 선정해봤어요. 성장의 기회를 발견하는 테스트 마인드셋에 대해 알게되는 그런 계기가 되시길 바라며, Happy Testing🧪

👀 2,282명이 함께 보고 있어요!

👑디지오션 사이드 플젝 팀원 지원하기 (수시 모집 중)

🌿마케팅 전문가가 필요한 브랜드를 위한 1분 서베이

🧑🏻‍💻 직무별 적용 포인트

모든 직무: 내가 하는 일 중, 어떤 영역이 특히 개선이 필요하며, 이를 위해 어떤 테스트를 해볼 수 있을까?

모두가 테스트가 중요하다고 이야기합니다. 하지만, 어떻게 테스트를 하는지 아는 사람은 별로 없는 것 같아요. 다들 모두가 하고 있다고 생각해서, 본인도 당연히 하고 있다고 말하는지도 모르겠습니다. 그래서! 저희 Metadata에서 적용하고 있는 테스트 프레임워크를 공유해보려고 합니다.

테스트(실험)의 정의

목표 달성에 있어 어느 지점에 문제(gap)가 있는지 찾아내는 것, 그것이 바로 테스트라고 생각합니다. 우리가 지금 진행하고 있는 마케팅 활동들이 반드시 목표 달성으로 이어지는 건 아닐 것입니다. 이런 점에서 언제나 새롭게 시도해볼 영역들이 있습니다. 해보지 않았던 것을 해보는 것이 바로 테스트죠. 많은 분들이 테스트와 최적화의 개념을 헷갈려하는데요. 실험은 이전에 해보지 않은 것을 새롭게 시도해보는 것이지만, 최적화는 이미 진행 중인 프로젝트나 활동에 한하여 (같은 프레임 내에서) 더 나은 성과를 위해 개선해나가는 것이라 이해하면 쉽습니다.

‘테스트’의 가치

이 질문을 거꾸로 한 번 생각해보고 싶어요. 테스트를 ‘안 하는 것'은 무슨 의미일까요? 아마도 늘상 하던 것을 계속 하고, 그냥 그게 다인거죠. 최적화도 하고 개선도 하겠지만요. 사실은 ‘이 정도면 됐고, 이게 최선이다’라고 생각하는 것과 다름 없다고 봐요. 지금 타겟팅하는 오디언스가 정확히 내가 도달하고자 하는 사람들이고, 지금 내보내는 광고가 잠재고객이 우리 브랜드에 대해 알 수 있는 유일한 방법이라고 생각하는거죠.

여러분이 테스트를 하고 있지 않다면, 이런 생각이 조금은 깔려있다고 봐요. 그 결과 많은 성장의 기회를 놓치는 것입니다. 역으로 테스트를 한다는 것은 내가 하는 것이 ‘개선될 여지'가 있고, 내가 완벽하게 모든 걸 잘 하는 마케터가 될 수 없음을 인정하는 것이기도 해요.

저희 Metadata의 세일즈 프리젠테이션에 이런 슬라이드가 있어요. 이 슬라이드에는 광고 두 가지 버전 그리고 각 소재가 벌어들인 매출액이 적혀져 있어요. 거의 9천 만원의 차이가 납니다. 마케터들이 이걸 보고 나면 그제서야 ‘내가 지금 테스트를 하지 않음으로 인해 더 많은 수익/매출을 낼 기회를 놓치고 있는거구나'라고 깨달아요.

이 이야기가 말해주는 또 다른 점은 테스트를 할 때 알맞은 ‘지표'를 선정하는게 얼마나 중요한지일 것입니다.

테스트에 필요한 ‘마인드셋’

그럼 마케팅 부서 내에 누가 이 테스트를 맡아서 해야하는 걸까요? 각각 마케터의 직무에 포함되어있어서 한달에 N시간 만큼 테스트에 투자해야되는 걸까요? 혹은 그로스 팀을 따로 구성해서 그들이 테스트를 전담해야 하는걸까요?

제 개인적인 생각으로는 팀 전체가 공유해야하는 ‘마인드셋'이라고 봐요. 콘텐츠의 경우, 이해하기 좀 쉽죠. 계속해서 새로운 콘텐츠와 형식을 시도해보는 테스트를 하니까요. 그럼 마케팅 운영(Marketing Operations)은 어떤가요? 좀 애매해요. 마케팅 운영 업무를 왜 테스트하냐고 생각할 수 있죠. 근데 저는 다르게 봐요. 마케팅 운영 업무라도 테스트를 통해서 다른 회사들 보다 앞서나갈 수 있고, 뭔가 몰랐던 부분을 발견할 수 있으니까요. 연동(Integration)을 설정하는 새로운 방법을 찾게되어 업무 효율이 크게 개선될 수도 있잖아요.

팀원들이 이런 마인드셋을 갖게하는데 가장 중요한 점은 ‘실패해도 괜찮다'는 걸 명확히 하는거라고 생각해요. 사실, 많은 리더들이 이걸 제대로 소통을 못하는거 같아요. ‘실패해도 괜찮으니 테스트 많이 해라’라고 말하고 실제로 실패하면 ‘왜 실패했냐고' 따져묻는거죠.

제가 생각하는 ‘실패'에 괜찮다는 의미는 이런거 같아요. 우리가 쓰는 돈, 시간, 에너지 총량 중에 몇 퍼센트는 실패로 이어지므로, 목표로한 ‘성공의 양'을 유지하려면, 사실상 더 많이 일해야한다는 것을 철저히 인지하는 거에요. 아마도 70-80%의 테스트가 실패할테지만, 크게 성공하는 테스트들이 있을 것이고, 이를 통해 계속해서 앞으로 나아가게 될 거라는 믿음이 필요해요.

테스트 프레임워크 이해하기

저희는 테스트를 할 때 먼저 목표 상태와 현재 상태 간의 ‘차이(Gap)’을 먼저 찾는 것으로 시작해요. ‘만약 지금처럼 똑같이 계속하면 이 분기가 끝났을 때 이정도 밖에 도달하지 못 하겠다’를 인지하고, 이 차이(거리)를 좁히기 위한 방법을 생각해보는 거에요. 뭔가 새로운 것을 테스트하고 돌파구를 찾지 못하면, 현재의 전환율로 계산해봤을 때, 아마 예상한 대로 목표에 미치지 못하게 될테니까요.

그러고 나면 이제 다양한 테스트 아이디어를 모아서 엑셀에 정리해봅니다. 그리고 나서 이 아이디어에 점수를 매기는데요. 이 때 I.C.E 프레임워크를 사용하여 아이디어를 선정해요. I.C.E는 Impact (영향), Confidence (확신), Effort (노력)의 앞글 자를 딴 것입니다. 결국은 여러개 아이디어 중에 ‘우선순위'를 정하기 위한 작업이에요. 가장 적은 노력으로 가장 큰 영향이 있을거라고 확신하는 테스트를 우선적으로 시행하고자 하니까요.

Impact (영향) - 만약 이 테스트가 성공했을 경우 영향력이 얼마나 클지
Confidence (확신) - 이 테스트가 성공할거라고 얼마나 확신하는가
Effort (노력) - 이 테스트를 실행하는데 얼만큼의 노력이 드는가

각 아이디어마다 세가지 항목의 점수를 부여하고 최종적으로 점수를 내는 거에요. 이 최종 점수로 아이디어의 순위를 매깁니다. 그리고 그 순서대로 테스트를 진행하는거죠!

가설과 목표 설정의 중요성

마케터들이 테스트를 할 때 까먹거나 혹은 해야하는지도 모르는 항목이 두가지가 있어요. 1) 가설을 세우고, 2) 테스트의 목표를 설정하는 것입니다. Metadata에서는 어떻게 하는지 설명해드릴게요. 이 두가지를 모르고 테스트를 하면, 그냥 ‘테스트를 하기 위해서’ 맹목적으로 테스트를 하는 아이러니한 상황이 될테니까요.

가설은 쉽게 말해서 ‘이 테스트를 하면 무슨 일이 벌어질까'에 대한 거에요. 간단하게 ‘A를 하면 B, C, D라는 결과가 날 것이다’라는 가정이 기본이구요. 여기서 더 나아가 이 테스트를 진행하면 ‘우리 잠재고객의 마음에 이런 변화가 있을 것이고, 단기적/장기적으로는 이런 영향이 있을 것이고, 목표 달성에 이런 도움을 줄 것이다’까지 생각하는거에요. ‘왜' 이 테스트가 성공할 것이라고 판단하고, 그 성공이란 것이 어떤 모습일지에 대해 명확히 하는거에요. 테스트를 시작하기 전에 반드시 이러한 점들을 미리 고민해야해요.

우리가 2주에 걸쳐 100만 원을 이 테스트에 투자한다고 할 때, 우리가 ‘완전 성공했어!’라고 말하기 위해서 어떤 일들이 벌어져야 할지 생각해보는거에요. 하나의 테스트로 앞서 말했던 (목표와 현재 사이의) ‘차이(Gap)’을 한꺼번에 메울 수는 없어요. 여러 개의 테스트를 진행하면서 몇몇은 실패하고 그 중 한두개는 성공하겠지만, 결론적으로 전체적으로 봤을 때 원하는 목표에 달성하게 되는거에요.

우리가 테스트의 목표를 설정하는 이유는 이 테스트가 ‘잘되고 있는지'를 추적하기 위한 것만이 아니라, ‘언제 중지할지'를 알기 위함이에요. 그냥 맹목적으로 100만 원 예산으로 테스트를 하기로 했다고, 그냥 그 예산을 다 쓰는게 아니라, 주요한 지표를 봐가면서 전혀 예상한 결과가 아닐 때는 중간에 멈출 수도 있는거에요. 멈춰서 뭔가 잘 못 설정한게 있는지 혹은 가설에 문제가 있는지를 점검할 수도 있구요. 그래서 이 테스트의 ‘성공'이 어떤 모습인지 아는 것 만큼 ‘실패'했을 때 어떤 모습인지 아는 것도 매우 중요해요.

테스트 결과 측정에 대해 고려할 사항

마케터라면 다들 인정하실텐데요. 우리는 뭐든 좀 복잡하게 만들고, 가능한 한 모든 걸 측정하려고 하는 경향이 있죠. 근데 이 테스트에 있어서는 그런 방식으로 접근하면, 측정하는데 시간을 다 쏟느라 실제로 테스트를 제대로 하게되지 못할 가능성이 커요. 그럼 테스트를 론칭하고 나서 어떻게 결과를 분석하고, 또 얼마나 자주 분석해야 할까요?

전 이렇게 생각해요. 만약 우리가 마케터로서 ‘측정할 수 있는' 활동만 한다면 마케팅을 제대로 하고 있지 않다는 뜻이에요. 예를 들어, 어떤 행동(Event)이 일어나는 것을 목표로하는 테스트는 쉬워요. ‘이런 요소를 바꿨을 때, ‘문의 양식' 제출 수가 증가할 것이다'라는 테스트를 판단하는건 쉽다는 것이죠. 정량화가 가능하니까요.

반면에 브랜딩과 밀접하게 연관된 테스트들은 이렇게 정량화하기가 매우 어려워요. 브랜드 활동의 영향을 직접적으로 측정할 수 있는 방법이 없으니까요. 그래서 주로 대체 지표(Proxy Metrics)을 사용하죠. 몇 명이 봤고, 읽었고, 클릭했고 등을 측정하는 것인데요. 사실은 이런 지표로는 우리가 궁극적으로 목표로 하는 브랜드 인지도, (잠재고객들의) 우리 브랜드에 대한 인식 같은걸 측정하긴 여전히 어렵죠. 브랜드와 관련한 테스트에서는 리서치, 설문, 인터뷰 등과 같은 정성적인 데이터가 훨씬 더 도움이 됩니다. 또한 이런 브랜드와 관련된 테스트는 단기간에 판단하기도 힘듭니다. 주로 6개월 이상의 긴 시간이 필요하죠. 대체 지표와 함께 이런 정성적 데이터를 함께 고려해야합니다.

테스트 마무리, 기억해야할 것

테스트에 있어서 성공 여부보다 더 중요한 것은 어쩌면 테스트를 통해 어떤 ‘인사이트(배움/교훈)’을 얻었느냐 일거에요. 그래서 테스트가 마무리된 후에 꼭 복기하고 회고하는 시간을 가져보시라고 추천해드리고 싶어요. 뭐가 잘 되었고, 또 잘 되지 않았는지 복기함으로써 다음 번 테스트에서는 같은 행동을 반복하지 않기 위함이에요.

만약 매달 4개의 테스트를 한다고 하면 일년에 거의 50개의 테스트를 하는 셈인데요. 새로운 아이디어를 필터링하는데 있어 각 테스트에서 얻은 정보(인사이트)를 활용하지 않으면, 그냥 했던 걸 똑같이 반복하는 거에요. 뭐가 성공했었고 실패했었는지 알아야해요. 그래서 각 테스트를 마무리 할 때, ‘결과' 혹은 ‘상태'를 적어 두는 것이 중요해요. 완료-성공, 완료-실패, 테스트 중, 분석 중, 등등.

왜 마케터는 테스트를 어려워할까

테스트가 너무 좋고 해야하는 걸 알지만, 실제로 실행하는 마케터들은 많이 없을거에요. 왜일까요? 바로 ‘시간이 없다'고 생각하기 때문이 아닐까요. 여러분이 계획을 세우는 과정에서 이 테스트를 포함하지 않으면, 아마도 여러분은 계속해서 테스트를 할 시간이 없을거에요.

마케팅 리더(상사)의 계획에 ‘테스트'가 포함되어있지 않다면, 여러분이 아무리 짬을 내서 테스트를 하려고 해도 매우 어려울거에요. 왜냐면 상사가 여러분에게 ‘도대체 왜 더 리소스(예산/인력 등)가 필요하냐고' 물을테니까요. 그래서 이 테스트를 전체 마케팅 팀의 계획에 포함시키는 것 자체가 매우 중요합니다. 테스트를 실행하기 위해서는 더 많은 리소스가 필요하거나, 혹은 다른 업무의 우선순위를 낮춰야 할테니까요.

솔직히 제 자신도 항상 핑계를 만들어서 테스트를 미뤄왔던 경험이 있어요. 더 중요하고 급한 프로젝트 해야해서 테스트 할 시간이 없다고 말이죠. 저희 팀은 매주 20%의 시간을 테스트하는데 사용하기로 결정하고, 실제로 달력 스케쥴에서 특정 시간을 막아놨던게 도움이 됐던거 같아요.

요점 3가지 정리