안녕하세요, 오늘의집 마케팅팀 데이터 분석가 웰러입니다.
오늘은 오늘의집이 2021년 1월 선보인 첫 TV CF 캠페인을 어떠한 방식으로 성과 분석하였는지에 대해 소개해드리고자 합니다.
지난해 11월 좋은 기회를 통해 오늘의집에 데이터 분석가로 조인하게 되었는데요. 입사 3일 째 되던 날, 저보다 며칠 앞서 오늘의집에 합류하신 브랜드 마케터 안방님과 함께 티타임을 가지며 처음으로 'TV 캠페인 성과 분석 프레임 구축'에 대해 진지하게 이야기를 나누었습니다.\
당시 오늘의집은 서비스 시작 이래 처음으로 진행할 TV 캠페인을 열심히 준비하고 있는 상황이었습니다. 항상 데이터 기반의 의사 결정을 최우선으로 하는 오늘의집 마케팅팀답게, TV 캠페인의 성과 분석 역시 사전 준비 단계부터 중요하게 고려하고 계셨습니다.
"곧 진행하게 될 TV 캠페인에 대한 성과 분석이 필요해요"
이후 안방님과 TV 캠페인 성과 분석 방법에 대해 논의하는 미팅을 수차례 진행했습니다. 다행히도, 안방님은 이전 회사에서 TV 캠페인을 운용해보신 경험이 있으셨기에 저에게 많은 사전 지식과 인사이트를 공유하며 큰 도움을 주셨습니다. 뿐만 아니라 오늘의집 CEO 제이님께서도 우리가 벤치마킹해볼 수 있는 좋은 아티클(미국의 가구 버티컬 커머스 기업 wayfair의 TVC 분석 방법론)을 슬랙을 통해 공유해주셔서 이를 기반으로 초기 분석 프레임을 수월하게 세팅할 수 있었습니다.
https://tech.wayfair.com/data-science/2018/08/optimizing-tv-advertising-toward-return-on-investment/">그럼 지금부터 본격적으로 오늘의집이 전통적인 마케팅의 영역으로 일컬어졌던 TV CF를 처음 시도하며, 그 성과를 측정하고 분석하기 위해 진행했던 프로젝트의 AtoZ를 낱낱이 공개해드리겠습니다.
◆ 분석 방향성을 잡아보자!
가장 먼저 살펴본 건 TV 광고의 특징이었습니다. 줄곧 IT 관련 스타트업에서 일하면서 디지털 광고 매체에 익숙해져 있던 저에게 TV는 굉장히 색다르고 새로운 매체였는데요. 우리가 많이 활용하고 있는 Google 이나 Facebook 과 같은 디지털 광고 매체는 개인별 행동 추적을 통한 성과 측정이 가능하고, 광고에 중복적으로 노출되었더라도 써드파티 툴을 활용하면 합리적인 성과 분배가 가능합니다.
하지만 TV는 기존의 온라인 광고와 달리, 개인별 추적이 불가능하다는 큰 특징이 있습니다. 유저 단위로 성과를 측정할 수 없기 때문에 우리는 증분 계산을 통해 성과를 측정하기로 결정했습니다.
◆ 지표를 설정해보자!
<증분을 통한 분석 진행>이라는 방향성을 잡은 , "어떤 지표들로 성공 여부를 판단할 것인가?"에 대한 논의를 시작했습니다. 열린 소통으로 가득했던 의견 조율 끝에 최종적으로 AU와 Install 증분을 측정한 뒤 이후 파생되는 비용 및 전환 효율 지표들로 TV 캠페인의 성과를 판단하기로 하였습니다.
◆ 정의한 지표들
기본적으로 측정 되어야할 지표
- AU 증분
- Install 증분 = 신규 유입
- AU 증분 - Install 증분 = 기존 회원 유입
여기서 파생되는 효율 지표
- 유입전환율 = AU 증분 / 시청자수
- 유입당 단가 = 단가 / AU 증분
- 인스톨당 단가 = 단가 / Install 증분
◆ 증분 측정
1. 시간대별 증분
*증분 = 실 성과 - 베이스라인 성과
증분은 위의 산식으로 도출되는데요. 이를 계산하기 위해서는 특정 시점의 베이스라인 성과를 먼저 계산해야 합니다. 베이스라인은 'TV CF 캠페인 기간 동안 만약 TV CF가 없었다면 어느 정도의 실적을 기록했을까?' 를 의미합니다.
AU(Active User) 지표를 예시로 들어보겠습니다.
차트를 보면 오늘의집의 분 단위 AU는 시간대에 따른 편차도 존재하지만, 요일별로도 유의미한 편차가 존재하는 것을 알 수 있습니다.
오늘의집의 경우 분 단위로도 충분한 유저 데이터가 존재하여, 요일과 분 별 편차가 고려된 베이스라인을 정의하는 것이 합리적일 것임을 확인했습니다.
이후 서비스의 최근 트렌드와 시즈널리티를 고려하여 적절한 베이스라인의 샘플 기간을 정의하였고,
이동평균을 활용해 베이스라인에 끼어있는 미세한 노이즈들을 smoothing하는 작업을 한 번 더 진행하였습니다.
이후 베이스라인과 캠페인 기간 동안의 실제 AU를 비교해 그 차이만큼을 증분으로 계산할 수 있었습니다.
여기서 잠깐!
위와 같이 기본적인 시간대별 증분 측정 방식을 정의한 뒤, 얼마 안 되어 이를 테스트 해볼 수 있는 좋은 기회가 생겨났습니다.
바로바로,
TV 캠페인 온에어를 며칠 앞두고, 제이님께서 유퀴즈에 출연하신다는 소식을 접한 것인데요!
짧게 15초 ~ 30초 동안 송출되는 광고와는 달리 풀 러닝 타임이 100분에 가까운 방송이었지만, 큰 틀에서 증분 측정 방식이 유효한지를 테스트해볼 수 있는 좋은 기회라 판단하였고, 해당 유퀴즈 방영일(2021년 1월 6일)에 성과 측정을 진행하였습니다.
라인차트를 보면 방송이 송출된 20시 40분경부터 유퀴즈 방영으로 인한 커다란 스파이크가 발생했음을 알 수 있는데요. 해당 스파이크에서 발생한 증분을 발라내고, 사전에 정의한 기준을 바탕으로 신규/기존 유저의 증분이 각각 얼마나 발생하였는지까지 추정할 수 있었습니다.
해당 테스트 케이스를 통해 TV 캠페인의 성과도 무리 없이 측정할 수 있겠다는 확신을 가지게 되었습니다.
자 그럼, 한 단계 더 깊게 들어가, 캠페인 기간 동안 송출되는 수많은 광고 중 어떤 광고가 상대적으로 더 우수했는지를 판단하려면 어떻게 해야 할까요?
2. 슬롯별 증분
일반적으로 한 광고 슬롯의 즉각적인 스파이크는 송출 시점으로부터 짧은 시간(1~5분) 동안 발생하고 사라집니다. 이 스파이크의 지속 시간을 window라 하겠습니다.
위 그림과 같이 각 광고가 window 이상의 텀을 가지고 항상 중복 없이 송출된다면, 앞서 알아본 시간대별 증분으로 슬롯별 성과도 분석 가능합니다. 하지만 오늘의집의 이번 TV 캠페인은 window보다 짧은 텀으로 다음 광고가 송출 되는 것은 물론, 같은 시간에 여러 채널에서 동시에 송출되는 케이스도 다수 존재했습니다.
이 경우 특정 시간대의 총 증분은 해당 시간대에 spike가 발생한 여러 광고 슬롯들의 증분이 누적된 결과 값이 됩니다. 때문에 특정 시간의 증분을 동시에 송출된 여러 슬롯에 합리적인 기준으로 재분배해 주는 과정이 필요했습니다.
우리는 일부 샘플 슬롯의 증분 spike의 패턴을 확인해, spike window 내의 증분이 분별로 일정 비율로 발생한다는 것을 확인하였고, 여기에 추가적으로 슬롯별 시청자 수를 고려하였습니다. (\* 시청자 수가 많은 슬롯에 더 많은 지분을 부여)
<성과 분배 예시>
- 슬롯 스파이크의 윈도우 정의 (예시 : 0 ~ +2분)
- 윈도우 내의 분 단위 비중 계산 (예시 : 0에서 2분 사이에 각 분별로 1:2:1의 비율로 증분이 발생)
- 위 분 단위 비중에 추가로 슬롯별 시청자 수를 가중치로 두어 각 슬롯에 분배
지금까지 설명한 시간대별, 슬롯별 증분 측정을 통해 실제로 TV 캠페인이 시작된 뒤 한동안은 이슈 없이 성과를 모니터링할 수 있었습니다.
하지만, TV 캠페인이 어느 정도 진행되었을 때 문제에 직면했습니다.
2020년 12월부터 2021년 1월까지 약 두 달 간 코로나가 재유행하며, 유저분들이 집에 머무는 시간이 자연스럽게 늘어남에 따라 평소보다 오늘의집을 보다 많은 유저분들이 활용하던 시기였습니다.
그러나 TV 캠페인이 진행 이후, 코로나 임팩트가 서서히 잦아듬에 따라 서비스 이용자의 규모가 이전과 달라졌고, 이로 인해 사전에 정의한 베이스라인과 실제 성과의 갭이 점점 벌어지는 현상이 발생했습니다. 때문에 여러 날에 걸쳐 송출된 광고 슬롯의 성과들을 동일한 기준 선상에서 비교할 수 없다는 큰 문제점이 발생했습니다.
우리는 이를 해결하기 위해 각 시간대에 직전 분을 기준으로 하는 베이스라인을 하나 추가하기로 하였습니다.
사진 속 붉은 박스 직전 분을 기준으로 하는 각 시점의 베이스라인이 되며, 베이스라인보다 위에 존재하는 남색 영역만큼을 각 스파이크의 증분으로 판단했습니다. 외생변수에 의해 흔들리지 않고 항상 동일한 기준을 가지는 이 베이스라인을 활용해 캠페인 기간 내의 모든 광고 슬롯의 성과를 동일 기준 선상에서 비교해볼 수 있었습니다.
오늘의집에서는 지금까지 설명드린 분석 프레임을 기반으로 위의 사진과 같은 대시보드를 구축하여 TV 캠페인의 성과를 실시간으로 모니터링하였고, 캠페인 초기에 슬롯별 성과 분석을 통해 발굴해낸 인사이트를 통해 캠페인 후반의 운영을 더 효율적으로 진행할 수 있었습니다.
◆ 다음에는!
현재는 향후 더 고도화된 베이스라인을 설계하고, 증분 유저를 코호트로 장기적인 수익성까지 분석해내기 위한 준비들을 착실히 진행하고 있습니다. 다음 시간에는 오늘의집 마케팅팀에서 어떤 방식으로 마케팅 데이터 파이프라인을 구축해 국내 최고 수준의 데이터 마케팅 환경을 갖추게 되었는지 그 비밀을 알려드릴 예정입니다.
이어서 게재될 콘텐츠에도 많은 관심 부탁드립니다.
