3 min read
마케팅 캠페인의 효과가 있는지 여부를 파악하는 일은 매우 중요하다. 캠페인이 효과가 있다는 것을 확인할 수 있다면 계속해서 동일한 마케팅 캠페인을 수행하면 된다. 성과가 없다면 일단 멈추고 다시 고민해서 이전과는 다른 것을 시도해야 한다. 통제집단(control group) 활용은 캠페인을 테스트하는 좋은 방법이다. 그렇다면 통제집단이란 무엇이며, 어떻게 활용할 수 있는지 알아보자.
통제집단이란 무엇인가?
마케팅에서 통제집단(control group)은 실험 기간 동안 특정 캠페인 메시지 또는 프로모션 수신에서 제외되는 잠재고객 세그먼트 그룹을 지칭한다. 의약학 분야에서는 ‘가짜약(placebo)’을 처치 받는 플라시보 실험집단이라고 할 수 있다.
통제집단은 전체 집단을 대표해야 하기 때문에 무작위로 선택되어야 한다. 그래야 동일한 조건에서의 비교가 가능하다. 또한 전체 그룹의 사람 수도 고려하여 그 사이즈를 정해야 한다. 예를 들어, 전체 집단이 10,000명이라면, 5% 또는 500명이면 통제집단으로 충분하다.
그러나 보통 이보다 소규모의 캠페인은 통제집단을 구성하기 위해 더 높은 비율이 요구된다. 가령 대상 고객이 2,000명 미만인 경우 통제집단은 적어도 10-20%는 되어야 한다.
통제집단의 크기를 결정할 때 고려해야 할 또 다른 변수는 예상 응답률이다. 만약 휴면 고객을 대상으로 하는 캠페인이라면 응답률이 상대적으로 낮을 것이고, 따라서 통계적으로 유의미한 결과를 얻기 위해서는 더 큰 규모의 통제집단이 필요하다.
통제집단이 중요한 이유
통제집단을 따로 설정해두면 특정 대상 그룹에 마케팅 캠페인이 미치는 영향을 측정할 수 있다. 통제집단의 응답과 캠페인에 노출된 다른 모든 사람, 즉 실험집단(test group)의 응답을 비교하여 마케팅의 효과 여부를 결정할 수 있다.
통제집단을 사용하면 수익 및 ROI와 같이 최종 결산에 실제로 영향을 미치는 측정 가능하고 의미 있는 KPI를 비교할 수 있다. 또한 기존 A/B 테스트에 세 번째 변수를 추가하여 마케팅 활동으로 인해 득보다 실이 더 많은지 확인할 수 있다.
통제집단을 사용하는 것은 직관적으로는 별로 좋은 결정이 아닌 것처럼 생각될 수 있다. 결국 잠재고객의 일부를 캠페인 대상에서 제외함으로써 그 만큼의 수익 손실을 초래할 수 있기 때문이다. 그러나 더 효과적이면서 전략적인 결정을 내림으로써 얻게 될 기회가 이러한 단기 손실로 인한 손해보다 훨씬 더 크다.
모든 마케팅 캠페인에 통제집단이 필요할까?
통제집단은 마케팅 캠페인에 대한 통찰력을 얻는 데 유용하지만 모든 캠페인에 필요한 것은 아니다.
통제집단이 필요하지 않거나 효과적이지 않은 대표적인 사례는 불과 몇 백 명 단위의 타겟 고객으로 구성된 아주 작은 규모의 캠페인을 진행할 경우이다. 통제집단의 규모가 너무 작아서 통계적으로 유의미한 결과를 낼 수 없기 때문이다.
또한, 모든 마케팅 캠페인에 통제집단을 사용하면 잠재적으로 상당한 수익 손실이 발생할 수 있다. 캠페인 전체를 살펴보면서 간헐적으로 일부 캠페인에만 통제집단을 적용하여 캠페인을 진행하면서 발견한 통찰력이 여전히 유효한지 지속적으로 확인하는 정도로 활용하는 것이 좋다.
통제집단 설정 및 활용 방법
마케팅 캠페인에 통제그룹을 설정하는 것은 굉장히 과학적인 작업이지만 비교적 간단하게 처리할 수 있다. 아래에서 구체적인 예를 통해 단계별 설정 및 활용법을 알아보자:
1. 고객 세그먼트 선택
먼저, 캠페인을 진행할 타겟 고객 그룹을 결정한다. 예를 들면, 3개월 동안 구매가 없었던 고객 7,000명을 대상으로 20% 할인 혜택을 제공하는 프로모션 캠페인을 진행하기로 결정할 수 있다.
2. 대상 세그먼트에 캠페인 실행
선택한 세그먼트의 5%에 해당하는 350명을 통제집단으로 설정하여 제외하고, 나머지 6,650명의 실험집단 모두에게 캠페인을 전송한다. 통제집단으로 캠페인에서 제외된 350명은 해당 프로모션의 영향을 일체 받지 않고 평소와 같이 행동한다고 전제한다.
3. 결과 평가
테스트 캠페인이 끝나면, 실험집단에 속한 모든 사람들의 결과와 통제집단의 결과를 비교해본다.
만약, 통제집단의 10%가 구매를 하고, 할인 혜택을 주는 캠페인 메시지를 받은 실험집단의 25%가 구매를 했다면, 해당 캠페인이 효과가 있었다는 좋은 지표가 된다. 그러나 만약 통제그룹과 테스트그룹의 반응 정도가 비슷했다면 캠페인이 효과가 없었다고 할 수 있다.
각 실험에서 결과가 통계적으로 의미가 있는지 여부, 즉 결과의 차이가 미미한지 그렇지 않은지를 고려해봐야 한다. 가령 실험집단의 25%가 구매했고 통제집단의 23%가 구매를 했다면, 또 다른 테스트를 통해 결과를 다시 비교해봐야 한다.
4. 결과를 토대로 마케팅 전략 조정
시간이 지남에 따라 어떤 캠페인이나 혜택이 가장 많은 매출을 창출하거나 혹은 가장 높은 ROI를 가져오는지, 어떤 세그먼트가 가장 반응률이 높은지 등에 대한 패턴이 보일 것이다. 그렇게 발견한 통찰력을 토대로 향후 마케팅 전략을 적절하게 조정해 나갈 수 있다.
통제집단을 사용하면 마케팅 캠페인의 효과를 측정하고 더 나은 전략적 결정을 내릴 수 있다. 마케팅 통제집단에 고객 분석 및 머신러닝 플랫폼을 결합하면 훨씬 더 큰 효과를 기대할 수 있다.
* 포스트의 내용과 관련해서 질문이 있거나 머신러닝을 활용하여 효과적인 세분화를 구현하는 방법에 대해 더 자세히 알아보고자 하시면 문의 를 남겨주세요 . 애피어의 전문가 팀이 맞춤 상담을 제공해드립니다 .
