데이터 유감; 고객 집착과 서비스 분석
카드 UI를 30번씩이나 A/B 테스트할 정도로 리소스가 풍부한 부분은 부럽고 UX 리서처 입장에서는 유의미한 결과의 도출과 실반영에 뿌듯하겠으나 경영진과 PO 입장에서는 리소스 배분과 우선순위 판단의 실패라고 볼 수 있는 사례가 아닐까 싶네요.
— 세균무기 (@germweapon) October 27, 2023
아토믹 수준의 A/B 테스트에 많은 리소스를 투입하는 최근의 추세가 바람직해 보이지 않는다. 초기 스타트업의 경우에 대다수 타깃 고객은 서비스 밖에 있으며, 장기적으로 사용성 개선에 얼마나 효과가 있을지 의문이고, 서비스의 본질적 가치의 개선이나 증대에 리소스를 집중해야 하기 때문
— 세균무기 (@germweapon) October 27, 2023
X에서 내 생각을 140자 내의 짧은 단문으로 작성해 올리다 보니 오해를 사는 경우가 있다. 하긴 대면으로 대화를 나눠도 의도를 충분히 전달하기 어렵고 때로는 오해를 사기도 하는데 140자로 어떻게 충분히 설명이 가능할까?
그래서 위 내용을 자세히 풀어서 작성해 봤다.
대다수 IT 서비스가 실패하는 이유는 기획자와 디자이너가 UI/UX를 잘못 설계했거나, 개발자가 개발을 잘못해 오류나 장애가 자주 발생해서도 아니다. 지금은 수억 명 이상이 쓰는 구글과 페이스북, X도 초기 제품을 찾아보면 예쁘지도 않았고 오류와 장애도 많았다. 인터넷에서 이들의 초기 제품 사진을 검색해 보면 형편없는 디자인에 깜짝 놀랄 것이다. 그리고 트위터 초기 시절에는 장애 발생 시에 나오는 고래 사진 때문에 "오늘도 고래가 떴다."는 글과 캡처가 인터넷에 가득했다. 그렇게 형편없었음에도 불구하고 어떤 서비스는 크게 성공을 하고, 대다수 서비스는 실패한다.
IT서비스가 실패하는 가장 큰 이유는 고객의 요구사항(Needs)을 만족시키지 못했거나, 고객이 겪고 있는 문제(Pain Point)를 해결해주지 못했기 때문이다. 즉 시장적합성(PMF, Product-Market Fit)을 찾지 못한 것이다.
따라서 PMF를 찾아야 하는데 많은 기업들이 인력과 시간, 자금 등이 부족하다며 적은 리소스를 핑계 삼아 시장조사를 제대로 수행하지 않는다. 또한 수직적인 위계질서를 가진 기업에서는 고객의 요구보다는 경영진이나 상사가 요구한 아이디어가 진행될 수 있도록 데이터를 왜곡하여 사업 계획서를 작성하거나 프로젝트를 진행시킨다. 애초 첫 단추가 잘못 끼워졌는데 과연 제품이 성공할 수 있을까? 그러면서 실패를 하게 되면 담당자나 실무자에게 책임을 묻는다.
제품에 대한 성공의 열쇠는 고객이 쥐고 있다. 때문에 프로덕트 팀의 고객에 대한 이해와 집착이 제품의 성공 가능성을 높일 수 있다.
고객을 이해하기 위해서 초기 제품 기획 시에는 시장조사를 한다. 시장조사를 통해 타깃 고객을 이해하고, 시장의 규모와 비즈니스 생태계, 경쟁사 등을 파악하며 시장성 및 서비스 경쟁력을 검토한다. 시장조사는 데스크 리서치, 유저 리서치, 경쟁사 분석 등의 다양한 방법을 통해 진행하게 된다. 데스크 리서치는 인터넷 검색, 기사, 통계, 논문 등을 활용하여 시장 정보를 수집하는 방법이다. 유저 리서치는 설문조사, 인터뷰, FGI(Focus Group Interview) 등을 통해 고객의 요구사항을 수집하고 문제를 파악하며 고객을 이해하기 위한 방법이다. 그리고 경쟁사 분석을 위해 경쟁사의 제품, 서비스, 마케팅 전략 등을 조사한다.
시장조사를 통해 고객의 요구사항이나 문제를 이해했다면, 이를 어떻게 만족시키거나 해결할 것인지 솔루션을 고민하게 된다. 그러나 이 솔루션은 고객을 통해 검증되지 않은 가설에 지나지 않기 때문에 빠르게 테스트를 진행하며 가설을 검증한다. 이를 위해 최소한의 기능을 구현한 제품인 최소 기능 제품(MVP, Minimum Viable Product)을 개발하고 유저 테스트(UT, User Test)를 진행하며 뇌피셜이 아닌 데이터를 통해 PMF를 찾기 위해 고군분투한다.
그리고 제품의 개발이 완료되어 고객에게 제공을 시작하게 되면, 기능을 개선하고 고도화하기 위해 VOC(Voice of Customer)를 수집하거나 서버에 쌓이는 데이터를 분석하며 다시 가설을 세우고 이를 검증하기 위해 지표 분석과 퍼널 분석, A/B 테스트 등을 하게 된다. 가설을 세우고 실험을 통해 검증하며 데이터를 통해 고객을 정확하게 이해하기 위한 노력이다.
때문에 최근에는 '데이터 주도적(Data-Driven)'이라는 단어를 어디서든 쉽게 찾아보거나 들을 수 있다. 그리고 이와 관련된 글에 대한 반응도 뜨겁다. 그만큼 국내에서도 데이터 분석을 통한 고객의 이해와 문제 해결에 관심이 높아지고 있다는 반증일 것이다. 소수의 의견이나 뇌피셜로 의사 결정을 하고 제품을 개발하고 개선하는 것보다는 바람직한 방향이라고 생각한다.
그러나 다수의 스타트업 종사자들에게 사내에서 데이터 분석을 하며 의사 결정이나 문제를 해결하고 있냐고 물어보면 안 하거나 못하고 있다고 답하는 경우가 많다. 실제 데이터 분석이나 퍼널 분석, A/B 테스트 등을 하고 이를 실 서비스에 반영하는 회사가 생각보다 많지 않다.
2014년까지 주민번호의 수집으로 쉽게 타깃팅이 가능했기 때문에 해외와 비교해 데이터 분석에 대한 관심과 발전이 늦을 수밖에 없었다. 그리고 당장 돈이 되지 않는 데이터에 관심 없는 올드한 경영진과 분석 결과에 대한 동료들의 무관심, 그리고 열악한 환경과 부족한 리소스로 인해 데이터 분석에 대한 성장이 더뎠다. 또한 여러 지표를 살펴보고 퍼널 분석과 A/B 테스트를 하며 이 결과를 서비스에 반영하는 일이 회사와 동료들의 관심과 지지, 지원이 필요한 무척 힘들고 지루하며 인내심이 필요한 작업이다 보니 실제 데이터 주도적 의사 결정을 하거나 이를 실 서비스에 반영할 수 있는 회사는 안타깝게도 소수에 불과하다.
그럼에도 불구하고 AI와 빅데이터 시대라고 이야기할 만큼 그 어느 때보다 데이터에 대한 중요성이 매우 강조되는 시대다. 그래서 최근 이직을 하기 위해 면접을 보게 되면 많은 면접관들이 Deep-Dive한 경험이 있냐고 묻는다. 데이터 분석을 통해서 어떤 액션 플랜을 세우고, 그 액션을 통해 지표를 개선해 본 경험이 있는지 묻는 것이다. 그리고 경험이 있다고 답을 하면 그 과정과 성과에 대해서 자세히 설명을 해달라고 한다. 그럴 때마다 매우 당혹스럽다. 기획자가 매일 보는 게 지표라지만 여러 데이터와 지표를 포함하여 수많은 자료와 이야기를 들으며 의사 결정을 하고 기획을 한다. 때문에 매우 복합적인 의사 결정 과정이라고 할 수 있다. 그 결과 또한 마찬가지다. 그런데 어떤 지표를 보고 그런 판단을 했고, 그래서 어떤 액션을 취했으며, 그 결과로 리텐션이나 전환율 등의 지표가 몇 퍼센트 개선되었는지 듣고 싶어 한다.
왜 그런 질문을 하는지 이해를 못 하는 바는 아니지만, 여러 데이터와 지표를 살펴보고 수많은 기획과 개선을 하는데 어떻게 일일이 기억을 하고 있단 말인가? 특히 나 같이 현재에 집중하고 미래만 생각하며 살다 보니 기억력이 나빠져 그 나빠진 기억력을 보완하기 위해 기록에 집착하는 사람이 그것을 다 기억하고 있을 리가 없다. 대신 잃는 게 있으면 얻는 것도 있다고 글쓰기 실력은 늘었다.
게다가 시니어 기획자가 1년에 기획하고 릴리즈하는 수준이 몇몇 기능에 그치는 줄 아는 것 같다. 보통 17년 차 정도의 시니어 기획자를 채용했다면, 회사가 기대하는 것은 단순히 몇 개의 기능을 개선하거나 릴리즈하는 것이 아니다. 거대한 플랫폼이나 수 개의 서비스를 기획하고 오픈하기를 바라고, 그 와중에도 수많은 개선이 이루어지기를 기대한다. 그런데 이 과정에서 얼마나 많은 데이터와 지표, 자료를 살펴보고, 수많은 미팅을 하며 이야기를 듣고, 셀 수 없이 고민하며 수많은 의사결정을 할지 상상이나 할 수 있을까? 그 결과물로 내가 1년에 만들어내는 페이퍼 양만 봐도 놀랄 것이다.
그리고 인터넷에서 버튼이나 카드 등의 UI/UX를 A/B 테스트하며 지표를 개선해 서비스가 성공했다는 글들을 너무 읽은 탓인지 기획자가 버튼의 위치나 색상 등을 바꿔가며 A/B 테스트를 하고 그 전환율(CVR, Conversion Rate)을 개선하는 직군이라고 생각하고 있는 것 같다. 이런 테스트 설계나 진행이 엄청나게 업무량이 많아 매일 야근하는 기획자나 PO가 해야 할 일인지 묻고 싶다. 이건 리소스가 넘쳐나는 회사에서 UX 디자이너나 UX 리서처, 그로스 해커가 해야 할 일이지 리소스도 부족하고 해당 직군도 없는 회사에서 기획자가 할 수 있는 일의 범위가 아니다.
또한 리텐션을 높이기 위해 최근 유행하고 있는 매일 참여할 수 있는 게이미피케이션 기능을 추가했다고 해보자. 그 기능에는 추천 코드를 통한 친구 초대 기능과 함께 랭킹 기능도 포함되어 있다. 그리고 이를 홍보하기 위해 문자와 푸시 알림을 보내고, 랭킹 기능 등을 활용한 작은 이벤트도 진행하며 다양한 마케팅을 진행했다. 그런데 포트폴리오와 면접 시에 기획자인 내가 특정 기능의 기획과 런칭을 통해 한 달 만에 리텐션을 30%나 증가시켰다고 이야기할 수 있는 것일까? 모든 게 기획자인 나의 뛰어난 기획 역량 때문에 달성한 목표라고 말이다. 나는 여러 직군의 동료들과 함께 만들어낸 결과를 가지고 내 기획으로 리텐션을 30%나 증가시켰다고 답변하지는 못할 것 같다. 게다가 리텐션을 30% 증가시켰다는 것이 맞는 이야기일까?
그리고 너무 데이터를 강조하다 보니 데이터 만능주의로 치닫고 있는 것이 아닌가 싶다. 오죽하면 데이터 분석가들도 데이터 신봉주의를 경계하며 경고의 목소리를 내고 있을까?
초기 스타트업의 경우에는 대다수 고객이 서비스 밖에 있다. 그런데 고객의 요구사항을 파악하고 데이터 중심의 의사 결정을 하겠다며 데이터를 분석하기 위해 분석 환경을 구축하고 지표를 생성하며 대시보드를 만든다. 아직 버그와 오류 투성에 VOC가 쏟아지고 있는데 말이다. 데이터가 중요하다지만 'Data-Driven'과 'Customer-Driven'은 다른데 지인이나 얼리어답터 등의 소수의 데이터를 추출하고 지표를 만들면서 고객 중심적인 의사 결정과 운영을 하고 있다며 자화자찬을 한다. 초기 얼리어답터를 통해 추출한 데이터와 지표가 다수의 일반 유저를 대변하지 못할 수도 있다. 절대다수의 일반적인 타깃 유저는 데이터가 아니라 서비스 밖에 있기 때문에 사용자수가 적은 초기 스타트업의 경우에는 데이터가 아닌 데이터 밖에서 고객의 요구사항이나 문제를 찾는 편이 나을 것이다. PMF를 찾으며 기본적인 비즈니스 요구사항조차 구현하지 못한 초기 스타트업에서는 데이터 분석보다는 시장조사가 더 적합하다.
애자일 스크럼 조직에서 진행하는 A/B 테스트는 스프린트 주기에 따른 단기간의 테스트에 그쳐 긴 호흡의 효과나 인과관계를 추적하기 어렵다. 그러나 데이터는 객관적으로 신뢰할 수 있다며 실 서비스에 바로 반영된다. 사내에서 데이터 신봉자, 근거 없이 설득하기 어려운 실무자, 책임 회피를 위해 데이터 뒤에 숨는 관리자 등이 이를 열렬히 지지한다.
2022년 12월 20일, 메타의 페이스북 알림 데이터 사이언스 팀이 블로그 플랫폼인 미디엄에 장기적인 실험 결과가 단기적인 실험 결과와 다른 결과를 보여줄 수 있다며 한 실험을 통한 인사이트를 공개하였다. 해당 팀은 알림 빈도수가 사용자의 방문과 사용자 만족도에 미치는 영향을 테스트했다. 그 실험의 결과는 단기적으로 알림이 잦을수록 방문이 많았으나 1년 동안 테스트를 지속해 보니 장기적으로 꼭 필요한 알림만 보냈을 때에 사용량이 조금씩 회복되며 사용자 만족도와 사용량이 단기적으로 잦은 알림을 보냈을 때보다 증가했다는 것이다. 많은 사람들이 어렴풋하게 예상하고는 있었으나 지표를 통해 검증하기 어려웠는데 이를 데이터로 입증한 것이다. 해당 팀은 "지속 불가능한 단기 방식으로 제품을 최적화하고 싶지 않았고, 사람들에게 가치 있는 경험을 통해 장기적인 성장을 추구하고 싶었다."라고 실험의 소회를 밝혔다. 한편으로는 멋지고, 한편으로는 이런 장기적인 시각으로 실험을 진행할 수 있는 리소스와 환경이 부럽다. 보통의 회사였다면 KPI를 달성하기 위해 알림을 더 자주 발송하려고 노력했을 것이다. 그리고 데이터만 놓고 보면 단기적으로 알림을 통해 방문수가 늘었으니 성공했다고 자축을 했을 것이다. 사용자는 자주 수신되는 알림 때문에 짜증을 느끼며 알림을 끄거나 탈퇴를 하기 위해 방문을 했는데도 불구하고 말이다.
스프린트를 채택하고 있는 스타트업에서 A/B 테스트의 단점은 실험 기간이 일반적으로 짧기 때문에 결과가 신규 기능의 제공에 따른 반짝 효과인지, 아니면 제품에 대한 사용자 만족도가 실제 높아졌는지를 판단하기 어렵다는 것이다.
그리고 전환율을 높이기 위해 버튼이나 카드의 모양, 색상, 위치 또는 마이크로카피 등의 아토믹 단위의 A/B 테스트를 하는 것이 과연 방문수와 사용성에 얼마나 많은 영향을 미치는지, 그리고 투입된 리소스를 고려해 효과적인 자원의 투입과 배분이었는지 의문이다. 물론 리소스가 풍부해 많은 A/B 테스트를 진행할 수 있는 회사에서 아토믹 단위의 A/B 테스트를 하겠다면 굳이 말리지 않는다. 풍부한 리소스를 이렇게 활용하는 것은 좋을 테니까 말이다. 하지만 PMF를 찾으며 기본적인 비즈니스 요구사항조차 제공하지 못하고 있는 스타트업에서 A/B 테스트 등에 많은 리소스를 투입하고 있다면 과연 효과적인 리소스의 투입과 배분인지, 우선순위가 잘 결정되고 있는지 한 번쯤 고민해 볼 필요가 있다.
한 서비스 기획자이자 PO로서 보다 중요한 건 제품이 사용자에게 제공하고자 하는 본질적인 가치의 제공 여부와 개선, 확대이고, 이는 작은 기능이나 피처 단위의 A/B 테스트와 그 결과가 큰 영향을 미치지 못하기 때문이다. 게다가 최근 크게 성장한 스타트업에 일하고 있는 후배들이 기획이나 디자인, 개발은 안 하고 매일 미팅이나 페이퍼 작업, 커뮤니케이션에 너무 많은 시간을 투입하여 일이 재미도 없고 보람을 느끼지 못한다며 사이드 프로젝트에 집중하는 것을 보면 이들도 단순 기능이나 작은 단위를 테스트하고 개선하기보다는 힘들고 어렵더라도 서비스 단위의 기획과 디자인, 개발을 하고 싶어 하는 것 같다.
또한 혁신적인 서비스나 솔루션을 기획하고 있다면, 데이터를 통한 요구사항이나 문제를 분석하는 행위가 큰 도움이 되지 않을 수도 있다. 애플의 CEO였던 고 스티브잡스가 1998년 5월에 비즈니스위크와의 인터뷰에서 '우리는 많은 고객을 보유하고 있으며, 설치 기반에 대한 많은 연구를 수행하고 있다. 또한 업계 통향을 매우 주의 싶게 살펴본다. 하지만 결국 이렇게 복잡한 제품의 경우에 포커스 그룹을 통해 제품을 디자인하는 것은 정말 어렵다. 많은 경우에 사람들은 그것을 보여줄 때까지 무엇을 원하는지 조차 모른다. 때문에 애플의 많은 사람들이 많은 돈을 받는 이유는 그들이 이러한 것들을 주도해야 하기 때문이다."라고 이야기하며 FGI 등의 시장조사를 하지만, 결국은 능력 있는 사람들의 직관과 창의력, 인사이트가 중요하다고 이야기했다. 시장조사나 데이터 분석 등은 고객의 과거 경험을 바탕으로 피드백을 제공하기 때문에 혁신적인 아이디어를 발견하거나 상식과 기대를 뛰어넘는 수준의 경험을 제공하는데 한계가 있을 수 있다. 때문에 나도 스티브 잡스의 의견에는 일부 동의하지만 과연 고객에 집착하며 집단 지성을 뛰어넘을 정도의 직관이나 창의력, 인사이트를 가진 사람이 나를 포함해 주변에 몇 명이나 있을지는 의문이다.
그럼에도 불구하고 기획자로 일하다 보면 고객의 의견이 상충할 수도 있고, 모든 의견을 수용하다 보면 제품의 복잡도가 높아지며 신규 고객은 어렵거나 온보딩에 많은 시간과 노력이 필요할 수도 있다. 또한 데이터를 통한 의사 결정이 소수의 의견을 무시하고 다수의 의견을 반영하는 행위이기 때문에 소수에게는 불편하거나 원치 않는 변화일 수도 있다. 때문에 고객의 의견이나 데이터를 곧이곧대로 받아들이기보다는 제품을 만들어가는 프로덕트 팀의 직관이나 인사이트도 매우 중요하다는 것 또한 부정할 수 없다.
그리고 많은 사람들이 데이터와 지표가 중요하다는 것은 잘 알고 있지만, 막상 데이터와 지표에 대한 이해가 부족하거나 오해가 있는 것 같다. PO로서 전사와 직군별 OKR이나 KPI를 설계 및 협의하다 보면, 대다수 동료들이 직군에 따라 중요하게 생각해야 할 지표나 지표 간의 관계를 잘 이해하지 못하는 경우가 많다.
▶ OKR에 기반한 지표 모델 생성
기획자 관련 지표를 예로 들자면, 나는 OKR 설정을 통해 서비스 기획자인지 PO인지를 명확히 구분한다. 서비스 기획자에게는 매출 관련 지표를 목표로 할당하지 않는다. 많은 사람들이 사용성 지표와 매출 지표가 인과관계가 있고, 이는 항상 비례한다고 생각한다. 즉 사용성 지표가 개선되면 매출 지표도 개선된다고 생각하는 것이다. 그러나 전자상거래와 같이 전사가 매출과 영업이익에 집중하는 회사라면, 사용성과 매출 지표가 비례하기보다는 반비례하는 경우도 있다. 때문에 사용자의 대변인이자 사용성을 가장 중요하게 생각해야 할 서비스 기획자에게는 매출 관련 목표를 할당하기보다는 서비스 주요 경로(Critical Path)에 대한 평균 전환율(Avg. CVR)이나 재방문율(Retention Rate) 등을 주요 목표로 설정한다. 반면, PO라면 전환율이나 재방문율 대신 매출 관련 지표를 주요 목표로 설정한다. 결국, 도메인이나 직군 등에 따라 데이터와 지표에 대한 해석과 중요도가 달라질 수 있는데 인터넷이나 주변에서 들은 이야기를 곧이곧대로 받아들이고 적용하려 든다.
데이터 만능주의를 경계하는 내용으로 작성하려다 보니 데이터 분석을 부정적으로 바라보는 시각으로 작성했지만, 사용자를 이해하는데 데이터 분석은 매우 중요하다. 여전히 데이터 분석을 안 하거나 못하는 회사도 많다 보니 데이터 분석의 중요성이 강조되는 것은 바람직하다. 하지만 회사의 시기와 리소스를 고려해야 하며, 데이터는 의사결정을 위한 수단 중 하나라는 사실을 잊어서는 안 된다. 'Data-Driven'과 'Customer-Driven'이 일치하지도 않으며, 데이터는 미래의 잠재 고객을 대변하지도 않는다. 그리고 버튼이나 인풋 박스, 마이크로카피 등의 UI/UX 상의 A/B 테스트도 중요하지만 제품의 본질적인 가치를 개선하는 노력이 더 중요하고 의사결정에 있어 이 가치가 데이터에 우선해야 한다는 점을 잊지 않았으면 한다.
세균무기가 알려주는 서비스 기획의 모든 것 | 세균무기 - 교보문고
세균무기가 알려주는 서비스 기획의 모든 것 | 세균무기와 함께하는 서비스 기획의 모든 것!이 책은 저자인 세균무기가 약 20년 동안 서비스 기획자이자 프로덕트 오너로 일하며 블로그, 커뮤니
product.kyobobook.co.kr