테스트는 모든 온라인 마케팅 전략에서 중요하다. 무엇이 효과적이고 효과적이지 않은지를 보여줌으로써 고객이 원하는 바를 파악하는 데 도움을 준다. 테스트 결과를 토대로 디지털 마케팅 활동을 최적화하고 나아가 판매 기회와 전환을 늘릴 수 있다. 초기 몇 달 간 새로운 방법을 시도해보는 기초적인 실험에서부터 A/B 테스트까지, 활용할 수 있는 테스트 종류는 다양하다. 좀 더 앞선 고급 마케팅 단계라면 다변량 테스트(Multivariate Test, MVT)를 고려해 볼 수 있다. 최근 진행된 한 조사에 따르면 요즘 성공적인 마케팅 캠페인의 절반 이상이 다변량 테스트를 진행하고 있는 것으로 나타났다. 따라서 다변량 테스트가 무엇인지, 어떤 것들을 수반하는지, 그리고 더 흔히 사용되는 A/B 테스트와는 어떻게 다른지에 대해서 제대로 짚어볼 필요가 있다. 간단히 말해 다변량 테스트는 웹사이트나 디지털 캠페인에서 동시에 여러 요소들의 조합을 시험하는 것을 의미한다. 가령 라이브 웹페이지를 운영하는 경우, 제목, CTA(콜투액션) 메시지, 탐색 메뉴, 이미지 등을 미세하게 조정하여 서로 다른 여러 버전으로 테스트하는 것이다. 이에 비해 분할 테스트라고도 하는 A/B 테스트는 두 가지 옵션만 테스트한다. 예를 들어 이메일을 보낼 때 제목 또는 웹사이트 랜딩 페이지를 서로 다르게 하는 등, 두 종류의 이메일을 보내어 결과를 테스트한다. 이 때 각각의 이메일 디자인과 콘텐츠는 완전히 다르게 구성하는 것이 일반적이다. A/B 테스트에서는 전체 잠재고객의 절반인 50%가 각각의 버전을 받게 되고, 그 반응 결과 어떤 버전이 더 효과적인지 판단한다. 다변량 테스트의 경우 여러 가지 버전을 또 여러 가지 방식으로 나누어 테스트해봄으로써 각 요소별로 가장 효과적인 버전을 찾아 결국 최선의 조합을 알아내는 것이 목적이다.
다변량 테스트의 장단점
장점: 다변량 테스트의 가장 큰 장점은 여러 가지 요소를 한 번에 변경 및 분석하여 효율성을 높이고 최적화 프로세스를 가속화할 수 있다는 점이다. 또한 수정할 수 있는 요소의 가짓수에 제한이 없기 때문에 새로운 시도를 하고자 할 때 좀 더 부담 없이 진행할 수 있는 여유를 준다. 또한 다변량 테스트는 한 버전이 다른 버전보다 더 효과적이라는 것 이상의 정보를 제공한다. 어떤 특정 요소가 효과를 내고 있는지, 각 요소들이 서로 어떻게 시너지를 내고 또 왜 그런 시너지 효과가 나는지 등을 포함하여 더 많은 정보와 인사이트를 제공한다. 또한 각 테스트 결과 얻은 데이터와 통찰력을 향후 캠페인에 적용할 수도 있다. 예를 들어, CTA 버튼을 빨간색으로 디자인하고 버튼 위에 별도의 광고 카피 한 줄을 추가한 버전이 효과가 있었다면 바로 그 다음 캠페인부터 이를 적용할 수 있다.
단점 : 다변량 테스트에는 단점도 있다. 가장 큰 단점은 테스트를 진행하기 위해 상당한 양의 트래픽이나 전환이 필요하다는 것이다. 통계적으로 유의미한 결과를 생성하기 위해 각 테스트 그룹에 충분한 고객이 필요하기 때문이다. 또한 다변량 테스트는 복잡하다. 변수의 가짓수를 적당한 선으로 유지해야 한다. 그렇지 않으면 원본과 다른 수천 가지의 변형을 테스트하게 되어 테스트를 실행하고 결과를 얻는 데 엄청난 시간이 걸릴 수 있다. 한편, 다변량 테스트를 한 번만 실행하는 경우도 위험하다. 특정 디자인이 좋은 성과를 낼 수 있었던 정확한 이유를 파악하기 어려울 수 있다. 즉, 의미 있는 통찰력을 확보하기 위해서는 테스트를 일정 수준 이상 많이 수행해야 한다.
다변량 테스트를 적용해야 할 상황 많은 마케터들이 A/B 테스트를 디폴트 전략으로 활용하고 있는 상황이지만, 다변량 테스트가 실제로 더 도움되는 상황들이 있다. 다변량 테스트는 특히, 여러 요소로 구성된 웹사이트 최적화에 매우 효과적이다. 다변량 테스트를 통해 웹사이트에서 데이터를 수집하고 복잡한 고객 행동에 대해 보다 상세하게 이해할 수 있다. 또한, 다양한 버전의 헤드라인, 광고 카피, 이미지 및 콜투액션(CTA)를 통해 성과를 확인하고자 하는 디지털 광고에도 사용할 수 있다. 월간 사이트 방문자 수가 10만 명 미만인 경우 다변량 테스트는 적합하지 않을 수 있다. 그러나, 만약 자체 사이트에서의 전환율이 매우 높다면 방문자 수가 이에 미치지 못하더라도 다변량 테스트를 통해 의미 있는 결과를 얻을 수 있다. 고객을 한창 발굴하고 개발해가고 있는 스타트업에게도 다변량 테스트는 큰 도움이 되지 않을 확률이 높다. 보통은 보다 광범위한 차이점에 집중하는 A/B 테스트부터 시작하고, 데이터가 쌓이고 시간이 지나면서 다변량 테스트를 적용하여 더 깊이 분석하고 최적화하는 것이 합리적인 접근 순서이다.
다변량 테스트 실행하기 다변량 테스트를 꼭 복잡하게 수행할 필요는 없다. 요즘은 자동화 소프트웨어가 많이 상용화되어 있어 이런 유형의 테스트를 실행하고 그 결과를 분석하는 것도 한결 쉽게 진행할 수 있다. 다변량 테스트를 실행하는 주요 단계는 다음과 같다:
1 단계 : 사이트 또는 캠페인을 점검한다 우선, 브랜드 웹사이트나 광고 캠페인에서 어떤 요소들이 두드러지는지 또는 개선이 필요한지 검토하라. 여기서 주목할 요소들에는 콜투액션(CTA) 버튼, 제목 또는 헤드라인, 이미지, 색감, 탐색 메뉴, 콘텐츠의 톤앤매너 등이 포함된다.
2 단계 : 가설을 세운다 특정 요소가 효과적이지 않은 이유에 대한 가설을 세워보라. 예를 들어, CTA 버튼이 너무 작거나 위치 선정이 잘 못되었거나, 제목의 메시지가 틀렸거나 글자 색깔이 적절치 않거나, 혹은 탐색 메뉴가 너무 복잡하게 구성되어 있을 수 있다.
3 단계 : 다양한 버전을 만든다 테스트하고자 하는 요소들의 다양한 버전을 만든다. 다변량 자동화 소프트웨어는 테스트하고자 하는 페이지 또는 캠페인 버전을 손쉽게 생성할 수 있도록 도움을 준다.
4 단계 : 잠재고객 표본을 정한다 다변량 테스트의 경우 잠재고객의 표본이 전체를 대표해야 한다. 그리고 충분히 정확한 결과를 낼 수 있을 만큼 큰 규모의 표본이 필요하다. 여기서도 자동화 도구는 트래픽을 다양한 버전에 따라 효과적으로 분배하는 데 도움을 준다.
5 단계 : 다변량 테스트를 실행한다 잠재고객과 표본 사이즈가 정해졌다면, MVT 프로세스를 시작할 수 있다. MVT는 큰 규모의 잠재고객 표본을 필요로 하기 때문에, 결과를 내기까지 약간의 시간이 걸릴 수 있다. 웹페이지 또는 캠페인 성과를 극대화하고 테스트의 효과를 보장하기 위해 인공지능(AI)을 활용하여 다양한 버전별 트래픽 분배를 자동으로 조정할 수 있다. AI는 통계적 효과를 보장하기 위해 최소 사용자 그룹만 테스트를 위한 나머지 조합에 남겨두고 최대의 사용자를 최상의 조합 버전에 배치함으로써 테스트 성과를 극대화할 수 있다.
6 단계 : 결과를 분석한다 충분한 양의 트래픽 또는 전환을 확보하고 테스트를 실행 후 결과도 정리했다면, 참여, 세션당 시간, 이탈률 또는 전환율과 같은 지표들이 증가했는지 또는 감소했는지를 보면서 처음에 세웠던 가설을 검증하거나 반증할 수 있다. 다변량 테스트를 잘 활용하면 여러 가지 요소가 맞물려 성과를 내는 마케팅 캠페인 활동을 최적화하는 데 큰 도움이 된다. 상황에 따라 A/B 테스트를 병행하면서 일정 주기를 갖고 장기적으로 수행하면, 시간이 지남에 따라 계속 변화하는 고객의 행동과 선호도에 대해서도 항상 최신의 이해도를 유지할 수 있다.
* 다변량 테스트를 통해 웹사이트 또는 캠페인 최적화를 실현하고자 하신다면 애피어의 고객 참여 플랫폼인 아이쿠아(AIQUA ) 가 도움될 수 있습니다 . 문의 를 남겨주시면 애피어의 전문가팀이 컨설팅을 제공해드리겠습니다 .