당근의 실험 문화는 어떻게 자리 잡았을까

안녕하세요, 당근에서 PM으로 일하고 있는 Demi입니다. 1년 전, ‘직관만 믿고 덤볐다가 큰코다친 PM의 사연’이라는 글을 썼는데요. 글을 발행하고 1년이 지난 지금, 당시 글에서 다하지 못한 이야기와 함께 현재 당근에서는 실험 문화가 어떻게 자리 잡아가고 있는지 이야기해 보려 해요.

큰코는 왜 다쳤던가, 지난 실패 돌아보기 

당시 썼던 글은 제목에서도 드러나는 것처럼, 실험을 하지 않고 의사결정을 해서 생긴 실패 사례에 대한 회고 글이었어요. 사실 PM으로서 실패 경험을 글로 쓴다는 게 좀 창피한 일이기도 해요. 하지만 중요한 건 그걸 어떻게 극복했는지 그리고 극복할 수 있는 환경이었는지라고 생각해요. 당근은 항상 솔직하고 실수를 통해 성장할 수 있는 문화를 가진 조직인데 그걸 외부에서는 알기가 쉽지 않죠. 대부분 인사이트가 많은 케이스나 결과적으로 잘된 제품만 외부에 공유하니까요. 그래서 저는 제가 일한 케이스를 더 솔직히 공유하기로 했어요. 

우선 1편에서의 경험을 통해 배운 ‘실험이 중요하다고 판단할 수 있는 기준’을 3가지로 정리해보면 다음과 같아요. 

• Impact(임팩트) - 대부분 액션은 임팩트를 기대하며 진행하지만, 실제로는 임팩트가 없거나 마이너스 임팩트가 있는 경우도 굉장히 많아요. 때문에 이를 정확하게 알고 의사결정하는 게 굉장히 중요해요. 단순한 전후 비교로는 인과관계에 따른 명확한 임팩트를 측정할 수 없기 때문에 실험이 확실한 인사이트 확보에 도움이 돼요. 이렇게 얻은 레슨런은 의사결정의 품질을 강화시켜주고요.
• Risk(리스크) - 서비스가 다양해지고 복잡해질수록 서비스에 영향을 주는 요소를 해석하는 게 어려워져요. 동시에 리스크도 더 커지고 복잡해지죠. 개선을 위한 액션이 다른 측면에서는 리스크가 될 수 있기 때문에, 실험을 통해 리스크를 정확히 아는 것은 합리적인 의사결정에 큰 자산이 돼요.
• Team Building(팀 빌딩) - 실험은 제품과 사용자를 위한 의사결정뿐 아니라 팀 빌딩에도 주요한 영향을 미쳐요. 실험을 하지 않으면 대부분 ‘‘약간 기여한 것 같아요” 정도로 불확실하게 얘기하는 것만 가능해요. 우리가 가고 싶은 방향으로 임팩트를 잘 만들어내고 있는가를 명확하게 측정하고 이해하는 과정에서 실험이 굉장히 중요한 역할을 해요.

그런데 이런 배움이 개인을 넘어 팀 전체 문화로 퍼질 순 없을까 고민을 시작했어요. 입사 초기에 저는 의사결정을 할 때 실험이 꼭 필요한 것인지 혼자 고민하느라 헷갈렸지만, 그런 일이 다른 구성원들에게는 반복되지 않기를 바랐거든요. 그래서 데이터가치화팀이나 데이터분석가와 가깝게 붙어 실험 문화와 제도에 대해 고민하고 실천해 왔는데요. 이번 편에서는 당근 전사 차원에서 구성원들이 모두 실험을 더 잘할 수 있도록 만들어온 여정을 공유 드릴게요. 

비용이 많이 드는 실험, 그 필요성과 중요성을 잡아가기 

사실 실험을 문화로 자리 잡게 하는 건 정말 쉽지 않아요. 실험 자체가 쉽지 않기 때문이에요. 실험을 한다는 건 모든 구성원이 일을 더 해야 된다는 걸 뜻하거든요. 디자이너는 실험 케이스들을 더 만들어야 하고, 머신러닝 엔지니어도 실험을 위해 알고리즘을 여러 개 만들어야 하죠. 또 그게 동시에 사용자에게 서빙될 수 있도록 서버나 화면 구조도 여러 개가 동시 운영되는 구조로 만들어야 해요. PM 역시 실험을 설계하고 분석도 해야 하니까, 해당 프로젝트의 모든 구성원이 더 많은 일을 해야 하는 일이라고 느낄 수 있죠. 

또 한국에서 데이터 분석가가 정식 직무로 자리 잡은 지가 얼마 되지 않았단 배경도 실험의 허들을 높여요. 대부분 데이터 분석이 중요하다고 얘기는 하지만, IT 제품 데이터 분석 관련 직무가 시장에 안착된 지는 정작 10년이 채 안 된 것 같아요. 그러니 데이터 기반으로 일할 때 어떻게 일하고 대화해야 하는지 구체적으로 경험해 본 사람이 별로 없는 거죠. 이런 배경 때문에 대부분 회사에서 소수의 인원만 실험을 진행하거나 중요성에 대해서도 일부만 공감대를 가지고 있는 경우가 많아요. 

결국 실험 문화가 전사에 자리 잡으려면 ‘실험을 해 봤더니 정말 좋다, 이래서 실험을 해야 되는구나’라는 걸 직접 경험해야 해요. 그래야 실험의 필요성을 진짜 공감하게 되고 설득이 가능해지는 거죠. 당근은 이 과정을 어떻게 마련해 왔는지 살펴볼게요.

당근의 실험문화, 어떻게 자리 잡았을까

당근이 전사적으로 실험의 중요성을 직접 체감하게 된 계기가 최근 있었어요. 바로 ‘서비스 성장’이에요. 최근 3년 사이 당근에는 중고거래뿐 아니라 모임, 알바, 비즈니스 등 다양한 동네 구성원을 위한 서비스가 나오면서 복잡도가 올라갔어요. 직관으로 판단하는 단계에서 벗어나 실험을 통해 데이터 기반으로 프로덕트를 성장시켜야 되는 시점에 마주했죠. 그게 제가 입사한 때쯤, 실험에 대한 중요성을 경험하고 고민하던 즘이었던 것 같아요. 

과거에는 어떤 의사결정을 할 때 ‘이런 근거가 있어서 이거 없앨게요’라고 설명하고 공감을 얻으면 바로 결정할 수 있었어요. 하지만 지금은 서비스들끼리 유기적으로 연결돼 있어서 어떤 기능을 없애려면 그에 영향을 받을 수 있는 다른 프로덕트도 꼼꼼히 살펴야 해요. 서비스 복잡도가 드라마틱하게 올라가고 사용자가 많아지면서 세밀한 실험과 정확한 체크가 되게 중요한 시점이 된 거죠. 따라서 액션에 앞서 상당히 많은 것들을 실험하고 파악한 후 결정해야 했어요. 그러면서 당근의 메이커부터 경영진까지, 모든 구성원이 실험의 중요성을 실감하기 시작했죠. 그 중 대표적인 두 가지 실험 케이스를 소개해 볼게요.

1. 사용자가 교차하는 검색 탭에서 합리적 의사결정 내리기

첫 번째 케이스는 통합 검색 실험이에요. 당시 당근에서는 사용자가 당근 앱에서 키워드를 검색하면, 중고거래 매물뿐 아니라 다양한 동네 데이터를 볼 수 있도록 ‘통합 검색’으로 전환하려고 했어요. 필요한 동네 정보를 당근을 통해 검색할 수 있도록 하자는 취지였죠. 하지만 당장 전환한다면, 지표가 얼마나 떨어질지는 모르는 상황이었어요. 그래서 저는 방향성을 정해두는 건 좋지만 반영 자체는 무조건 실험을 해보자고 했죠. 이때 실험을 너무 많이 하는 것 아니냐는 의견을 받기도 했어요. 하지만 ‘전체 트래픽이 크게 떨어질 리스크가 예상되기 때문에 실험을 꼭 해야 된다’며 설득했어요. 서비스 전체 성장에 직결된 문제인 만큼 안정적인 전환을 위한 실험 로드맵을 계획하여 공유했고요. 

그렇게 막상 실험을 해보니 예상보다 지표가 더 크게 영향을 받았고, 결과를 보고 당장 진행하기보다는 ‘중간 단계를 두자’는 의견으로 모아졌어요. 그래서 지금은 일부 키워드 검색 결과만 통합 탭을 보여주고, 적용 키워드를 점진적으로 확장해나가는 전략을 취하게 됐죠. 함께 설정해 둔 목표를 향해 더욱 과학적인 방식으로 입증하며 안정적으로 한 걸음씩 나아갈 수 있었던 사례예요.

2. 이용성을 해치지 않는 건강하고 효율적인 광고 만들기 

한 번은 광고 매출 상승을 위해 중고거래 탭에 있는 광고 구좌를 확장하기로 한 적이 있는데요. 이때 중고거래 서비스 이용자의 경험을 해치지 않도록 세세한 조건을 검증해야 했어요. 그중 하나로 광고 구좌가 반복되는 간격과 광고 클릭수의 상관관계를 살폈는데요. 이때 주요 지표뿐 아니라 보조지표, 가드레일 지표를 꼼꼼하게 설정하고 살폈어요. 보조지표 중에는 ‘중고거래 검색을 통한 키워드 알림 등록수’도 있었어요. 키워드 알림은 광고와 직접적인 영향이 없다고 생각할 수 있지만, 중고거래 매물이 아닌 외부 광고 상품으로 이탈하여 중고거래 재방문을 유도하는 경험에 영향을 주진 않는지 리스크를 꼼꼼하게 확인하기 위한 거였어요. 다행히 저희가 한 실험은 키워드 알림 등록수에 영향을 주지 않은 것으로 드러났지만, 혹시라도 영향을 주었다면 해당 케이스에 대한 꼼꼼한 분석과 팔로우업을 진행했을 거예요.

모두가 체감한 실험의 중요성, 어떻게 더 ‘잘’ 할 수 있을까 

이런 실험 경험이 쌓이면서 실험의 필요성을 인식한 것을 넘어서 실질적으로 어떻게 문화와 제도로 자리 잡게 할까에 대한 체계적인 고민이 필요해졌어요. 제가 3년 동안 경험한 당근이 실험 문화를 고도화한 방식과 그를 가능하게 한 당근의 일하는 문화를 소개해 볼게요. 

1. 체계적인 실험을 위한 실험 플랫폼 등장 

당근의 데이터 문화를 책임지는 데이터가치화팀이 자체 실험 플랫폼을 만들기 시작했어요. 모두가 합리적인 실험을 할 수 있도록, 실험 문서를 설계하면 데이터 분석가에게 실험 리뷰를 받는 프로세스도 마련됐어요. PM이 진행하고 싶은 실험 문서를 작성하면, 데이터분석가가 제가 설정한 가설을 정확하게 잘 측정할 수 있는지 실험 리뷰를 해주고 상담도 해주는 거예요. 또 실험 결과를 어떻게 해석하는 것이 맞는지, 어떻게 의사결정하면 좋을지 데이터 분석가와 의논하기도 해요. 이를 통해 구성원들은 쉽게 실험을 시작하고 결과를 확인할 수 있어요.

2. 실험 문화를 확산시키는 Best Practice 공유 문화 

그럼에도 실험을 처음 하는 분들은 굉장히 큰 러닝 커브를 넘어야 돼요. A/B 테스트 자체도 어려운데, 실험 할당, 결과 통계 분석 등까지 생각하려면 머리가 아프잖아요. 이때 실험을 문화로 자리잡게 하는 좋은 방법은 Best Practice를 만들어 보여주는 거예요. 저를 비롯한 몇몇 PM들은 데이터가치화팀이 만든 실험 플랫폼을 적극적으로 쓰며 소문 내는 역할을 자처했어요. 업무하며 만난 다른 동료 PM들에게 “이런 실험을 해보니 이런 게 좋더라. 다음엔 이런 시도를 할 거다.”라면서 확성기 역할을 하는 거예요. 

당근은 기본적으로 어떤 팀에서 ‘이런 게 좋았다’ 라고 하면 그게 내부에서 퍼져 문화로 자연스럽게 정착되는 문화를 가지고 있어요. 각 팀의 정보와 일의 맥락은 일부를 제외하곤 모두에게 열려 있는데요. 덕분에 누구나 각 팀에서 어떤 시도를 하고 있는지 살펴볼 수 있고, 잘 정리된 레슨런을 학습할 수 있어요. 노션, 슬랙 등을 통해 검색도 가능하죠. 그래서인지 좋은 게 있으면 전파가 엄청 잘 돼요. 슬랙에 ‘퍼가요~’ 남기며 자기 팀 채널에 가져가서 ‘우리도 이거 하자’ 하며 서로를 레퍼런스로 삼아 업무하는 게 정말 자연스럽게 이루어져요. 긍정적인 순환이 만들어지는 건데요. 실험 문화도 그렇게 자연스럽게 확산된 문화 중 하나였어요. 

3. ‘실적 없음’에 대한 가짜 두려움이 없는 수평적인 소통 문화 

사실 그 무엇보다 중요한 건 실험 자체가 아니라 좋은 제품을 만드는 걸 거예요. 하지만 실험의 결과는 항상 좋은 게 나오는 게 아니라서, 결과에 따라서 배포를 안 하는 결정을 해야 할 때도 있어요. 근데 이게 말이 쉽지, 실무자 입장에서는 정말 마음을 많이 쓰는 경우가 있어요. 예를 들어 실컷 실험을 했는데, 결과는 좋지 않았지만 실험한 것 자체가 아까워서 혹은 업무를 인정받지 못할까 봐 잘못된 의사결정을 하는 경우도 많은 것 같아요. 우리 팀이 며칠 동안 열심히 설계하고 개발했기 때문에, 웬만하면 배포하고 싶어 하는 거예요. 따라서 실험 결과가 의도한 대로 가설 검증이 되지 않았을 때 배포하지 않은 것이 건강한 의사결정이라는 것을 계속 팀에 학습 시키는 게 중요해요. 이때 실적 없음에 대한 가짜 두려움이 없어야 해요. 

당근에서는 실험을 진행하고 배포하지 않아도, 그것이 허무하거나 아쉬운 게 아니라 더 나은 결정이라는 것을 팀이 문화적으로 또 제도적으로 합의하고 있어요. 배포하지 않고 되돌리는 의사결정을 하더라도, 왜 이런 결과가 나왔는지 그 실험 결과를 분석하고 전사 회의를 통해 공유하면 돼요. 핵심 가설에 대한 인과관계뿐만 아니라 다음 스텝에서 어떤 것들을 해야 하는지, 또 새롭게 알게 된 중요한 요소는 무엇이었는지 배우는 계기가 되죠. 실험에 대한 중단 결정이 곧 제품의 실패를 뜻하는 게 아니라, 제품 전략을 구체화할 수 있는 단서를 하나 찾은 것이라고 생각하는 거예요.

당근에서의 실험은 앞으로 더욱 중요해질 거예요

이러한 제도와 문화를 토대로 당근의 실험 문화는 계속 발전하고 있어요. 데이터가치화팀이 발행한 1주 1개 실험하는 프로덕트 팀이 되는 여정에서 나오는 것처럼 이제 매일매일 실험하는 팀, 조직이 되고 있죠. 

당근은 지역 기반 서비스라 실험이 더 어렵고 동시에 더 중요해요. 똑같은 피처가 나가도 지역 특성에 따라 영향이 다 다를 수 있거든요. 예를 들어 한 동네에서만 결과가 잘 나온다고 해도 전국에서의 상황을 봐야 해요. ‘전체적으로 유의미하게 모든 사용자에게 보편적으로 개선이 됐는가?’를 보려면 결국 실험을 더 여러 번 해보며 감을 잡아야 하는 때가 있죠. 실험을 통해 전체를 보는 거예요. 

‘하이퍼로컬’이라는 방향성을 두고 빠르게 나아가는 당근에게 실험 문화는 생존 전략과 같아요. 우리가 어디로 나아가야 할지 치열한 시도를 통해 지도의 한 칸씩을 밝혀나갈 수 있으니까요. 길의 방향성을 뚜렷한 불빛으로 밝혀주는 방법론이 바로 실험이라는 걸 당근 구성원들은 경험으로 직접 체험하고 있어요.

당근과 3년 동안 함께하며 회사도 저도 굉장히 빠르게 성장해 왔다고 느껴요. 돌이켜보면 솔직히 어려운 과정이었지만, 건강하게 성장한 배경에는 일을 잘 해내고 싶어 하는 동료들이 있었어요. 발전하는 실험 문화를 토대로 성장하는 단단한 팀과 함께 일하고 싶다면, 당근에 합류해 보세요!