당근이 도입한 A/B테스트 실험이란 뭘까?

당근 테크 블로그 아티클

1주 1개 실험하는 프로덕트 팀이 되는 여정 | 당근 블로그

 

 

오늘도 존재 자체가 감사한 

당근 테크 블로그에서 찾은 아티클을 공유하고

이야기해보고자 한다.

 

최근 나는 목표수립-문제정의- 가설 수립&검증으로 이어지는

기획 단계에 대해 학습했었다.

 

이 중 가설 수립과 검증 부분에서 

유저테스트, 사용자 인터뷰, A/B 테스트 등이 사용된다는 것을 알았는데,

현업에서 정확히 어떤 순서와 방식으로 진행되는지가 궁금해 찾은 아티클이다.

 

---

 

🥕 당근의 A/B 테스트

당근은 팀이 1주 당 1번의 A/B 테스트 실험을 실시한다. 

실험을 통한다면 더 명확하게 가설을 확인하게 되고 

단순 아이디어가 아닌 사실을 기반으로 의사결정을 할 수 있게 되었다. 

하지만 A/B 테스트 과정에서는 몇 가지 주의점이 있다. 

  1. A/B 테스트 시 분기별 개발일정이 필요하므로, 배포가 늦어지는 등 추가 리소스가 필요하다.

또한 A/B 테스트에 대한 각 팀원의 심리적 장벽을 낮추는 등의 노력이 필요하다.

2. 실험 가이드 및 템플릿이 없는 경우 가설 및 지표 선정에 어려움을 겪게 된다. 

따라서 여러 A/B 테스트에서 공통적으로 사용 가능한 템플릿이 필요하다. 

3. Firebase와 같은 실험 플랫폼들의 데이터 신뢰성이 떨어진다. 

데이터 로깅 오집계가 많고 사용자 선정 과정의 모순이 발생하기도 한다. 

따라서 당근에서는 자체적으로 A/B 테스트 플랫폼을 구축하고 있다. 

템플릿 제작 및 데이터 분석가의 적극적 협조를 바탕으로 전사적인 A/B 테스트 장벽을 낮추는 데 성공했고, 

팀이 대부분의 의사결정 사항에 실험 데이터를 사용할 수 있게 되었다.

 

---

💡 느낀점은?

데이터 분석가와 적극적으로 협조한 A/B테스트와 

그 데이터에 기반한 의사결정이 얼마나 효과적인지 알 수 있었다.

 

그리고 전사적 A/B 테스트 기조 안착에

생각보다 많은 고려사항과 리소스가 들어간다는 것도

미처 생각지 못한 부분이었던 것 같다.

 

다만 대부분의 의사결정에 A/B 테스트를 실행한다는 건

애자일 방식이 아니거나 (분기별 개발이 아닌 경우),

이미 잘 돌아가는 리소스에 추가적 투자를 하기 힘든 규모의 기업이라면

도입이 힘든 선진적 방식이지 않을까 하는 생각이 들었다. 

 

왜냐하면 실험환경 구축 및 일정관리 리소스를 저울질 해보면

스타트업 같은 중소규모 기업은 테스트보단 선배치(Batch) 후 개선을 더 선호할 것이기 때문이다.

---

✅ 결론

A/B 테스트의 효율성은 대단하지만, 

전사적 테스트 문화 도입은 기업의 개발 방식의 전반적 개선과 투자가 필요한 부분이다. 

또한 회사에 데이터 분석가가 없다면 도입에 리스크가 있을 것 같다는 생각도 들었다.