가설 수립 & 검증하는 과정은 어떻게될까?

지난번에 애자일 개발환경에서의 기획은 스프린트 단위로 진행되고

목표수립 - 문제정의 - 가설수립&검증 의 단계를 거치게 된다고 정리했었다.

오늘은 그 중 마지막인 가설수립과 검증 단계에 대해 정리해보고자 한다.

 

기획자는 문제 해결을 위해 검증 가능한 가설을 세운다.

그리고 가설 검증을 위해 액션(기능 개발, 실흠 등)을 실행하며

분석한 데이터를 이용해 가설을 검증하고 개선하는 사이클을 반복한다.

 

얼마 전, 당근 테크 블로그의 아티클을 읽고 느낀점을 정리하는 글을 쓴 적이 있다.

당근마켓의 PM이 정리한 그 글에는 "실험"이라는 표현이 잔뜩 들어가있다.

당근 PM이 말하는 실험이란 거창한 것이 아니라,

A/B 테스트 등을 통해 주기적으로 실행되는 가설 검증 절차를 말한다.

 

---

📌 가설 수립

---

 

이전 글에서 정리한 핵심 문제 정의단계가 잘 수행되었다면 

드디어 가설을 도출하게 된다.

 

 

가설이란 무엇일까? 

 

가설이란 현재는 아직 증명되지 않았으나, 가장 문제 해결에 가깝다고 생각되는 방안이다.

문제 정의 단계를 넘었다면, 기획자의 머리속에는 나름대로의 해결방안이 생겨났을 것이다.

하지만 이 해결방안은 아직 검증된 것이 아니므로 추가적으로 검증 절차를 거쳐 확정되는데,

이때 필요한 것이 가설 기반 사고 (Hypothesis-driven Thinking) 이다.

 

 

 

가설은 인과 관계를 설명하는 문장이므로

"(만약) ~한다면, ~할것이다." 라는 형태가 가장 기본적인 형태이다.

 

위 이미지로 설명해보자면

"B버전을 사용한다면, 무료배송 기능개선을 통해 A버전보다 구매전환율이 15% 개선될 것이다." 

의 형태로 수립될 것이다.

 

 

❓가설 수립의 원칙 

---

가설 수립의 원칙은 크게 2가지가 있다.

1. 가설에 변수와 예상되는 결과가 담겨야 한다.

2. 가설은 검증이 가능한 데이터가 포함되어야 한다.

 

2번은 조금만 생각해보면 매우 이해하기 쉽다.

예를들어 단순히 "사용자 만족도가 높아질 것이다" 라고 한다면

사용자 만족도가 높아졌는지를 어떻게, 무엇으로 확인할 것인지 고민해야 할것이다.

따라서 "주문취소율 감소 ≒ 사용자 만족도 증가" 라는 조건으로 가설 수립을 해야 수치적 검증이 가능하다.

 

 

---

 

🎯 가설 검증

---

 

가설 검증 방법에는 여러가지가 있다. 

 

항목	A/B 테스트	사용자 인터뷰	유저 테스트	오픈 후 결과 (베타) 데이터 분석
설명	✔️두 가지 이상의 옵션을 비교해 어떤것이 나은지 확인하는 방법	✔️사용자와 직접 대화하며 문제점과 니즈를 파악하는 방법	✔️사용자가 제품을 직접 써보고 피드백을 받는 방법	✔️기능 출시 후  사용자 데이터를 분석해서 문제를 찾는 방법
장점	✔️데이터로 명확한 비교 가능	✔️사용자의 숨겨진 니즈를 발견하고 새로운 아이디어 얻을 수 있음	✔️ 실제 사용과정을 관찰 가능	✔️ 빠르고 비용이 적게 듦
단점	✔️ 많은 사용자가 필요 ✔️ 준비에 시간과 비용이 듦	✔️사용자 모집이 필요	✔️사용자 모집이 필요	✔️ 상황별 맥락은 알기 어려움
사용하기 좋은 상황	✔️두 가지 버전 중 어떤 것이 좋은지 알고 싶을 때	✔️사용자가 무엇을 원하는지 알고 싶을 때 → 초기 아이디어 검증이 필요할 때	✔️ 제품을 실제로  써보며 개선할 점을 찾고 싶을 때	✔️기능 출시 후 데이터로 성과를 확인하고 싶을 때

 

 

먼저 A/B 테스트, 사용자 인터뷰, 유저 테스트 등은 반드시 일정 이상의 사용자 모집이 필요하고,

모집된 사용자가 조건에 맞는지 선별하는 사용자 리크루팅(User Recruiting)이 필요하다.

게다가 검증 환경을 구축하는 시간과 비용이 소요된다. 

 

 

 

<당근마켓의 중고차팀 업무방식>

 

 

 

반면에 빠르게 오픈을 하고, 데이터 분석을 통한 개선 및 고도화를 진행하는 경우는

일정과 검증환경 구축에 들어가는 리소스가 적으므로

많은 스타트업에서 애용하는 방식이기도 하다. 

 

검증 테스트를 할 시간에 조금이라도 더 빨리 배치(Batch)하고,

시장의 반응과 사용자 데이터를 통해 개선하는 것이다.

 

참고로 클라우드 스토리지 서비스의 원조격인 Dropbox 또한

초기 프로덕트는 MVP에 불과했으며,

그 단계에서 제품 사용 시나리오를 담은 영상을 통해 투자유치에 성공했다고 전해진다.

 

 

📆 가설 검증 이후

---

 

가설 검증이 완료되면 해결방안이 확정되고

해당 기능이 프로덕트에 도입되게 된다.

하지만 인생사 늘 행복하지 않듯이 예상과 다르게 결과가 좋지 않을 수도 있다.

 

늘 성공하는 기획자는 것은 이 세상에 없다.

10개의 기획 중 7개가 엎어지고, 2개가 실패하고 1개만이 성공한다는 말이 있듯이

실패를 통한 인사이트를 얻었다면 절반 정도는 성공한 기획이라고 생각한다.

 

왜냐하면 가설 검증 자체가 불가능해서 아무 인사이트를 얻지 못하는

안타까운 케이스조차 있다고들 하니까...