새로운 기능을 했을 때마다
- 에러 확인 후 모니터링하며 점진적으로 배포하기 - 실제 원인이 무엇인지 파악하기 어려움
- A/B 테스트로 기존 안, 신규 안의 데이터를 비교한 후 배포 - 데이터 기반 개선 방향을 잡을 수 있음
A/B 테스트란?
기존 안과 새로운 안 중에 어떤 것이 더 나은지 선택하기 위해 두 집단의 사용자 반응을 비교하는 대조 실험 방식 중 하나
안이 C, D가 넘어가면 어느 정도의 모수를 확보하고 실험해봐야 한다.
- 목표 설정: A/B 테스트 시작 전 먼저 목표를 명확하기 설정
- 가설 설정: 목표 달성을 위해 어떤 가설을 검증할 것인지 설정
- A/B 그룹 선정
- 실험 설계: 측정 지표, 실험 기간, 성공 기간, 그룹 분배 등을 사전에 설계
- 실험 실행: 데이터 수집 및 모니터링
- 데이터 분석
- 결과 도출
- 반복
실험 계획 설계 시 알아야 할 것
- 문제 정의는 그대로.
- 변경 대상 설정. 변경 대상은 영향이 큰 요소로 설정.
- 문장 형태의 가설 수립
- 하나의 테스트에서는 하나의 변경 대상만 테스트.
- 변경 대상은 사용자 경험에 큰 영향을 미칠 수 있는 요소로 테스트
정량적으로 측정할 수 있는 지표를 설정.
성공지표, 프로젝트의 성공을 증명할 수 있는 지표로 보통 하나만 설정한다.
성공지표가 잘 나오지 않더라도 테스트는 끝까지 하는 게 좋다.
보조지표는 더 이해하는데 도움이 될 만한 것으로 선정.
가드레일 지표는 프로덕트가 원치 않는 방향으로 나아가고 있는지 확인하는 지표
샘플링
A, B 그룹을 어떻게 나눚리, 몇 명을 대상으로 실험하는 것이 적절할지.
샘플 사이즈가 클수록 두 그룹의 결과 차이가
샘플 크기 계산기를 사용하는 방법도 있다.
마지막으로 실험이 문제 없이 진행되는지 모니터링
사용자들이 계획대로 실험 그룹에 잘 할당되는지 확인
내부 직원들의 데이터는 필터링(직원의 기능 테스트 등으로 인한 데이터는 전부 제외시켜야 한다)
데이터 수집이 잘 되는지 모니터링
의사결정의 기준이 되는 성공 지표를 중간에 변경하지 않고 사전에 계획한 대로 실험을 진행. 성공 지표가 잘 나오지 않더라도 끝까지 진행.
가드레일 지표에 심각한 문제가 있다면 실험 중단.
예정된 실험 기간 동안 필요한 샘플사이즈가 충족될 수 있을지 확인. 기간 연장 또는 보조 지표로 의사결정하는 방법도 있다.
실험 결과 분석
실험 플랫폼(핵클 등)을 활용해 사용자를 일관되게 분류, 실험 중지, 종료, 비율 조정 등 설정, 실험 결과와 통계적 유의성을 판단해볼 수 있다.
유의 수준: 가설을 검정할 때 판단의 기준
참고 사이트
주의점
실험 초반의 결과만 가지고 성급하게 결정해서는 안 된다.
초두 효과, 처음으로 노출된 기존안을 더 선호하고 변화를 꺼려하는 효과가 나타날 수 있음.
신기 효과, 새로운 안의 호기심 때문에 긍정적인 반응을 보일 수 있음.
두 그룹의 성공 지표가 비슷하다면, 보조 지표를 확인하거나 해당 지표를 더 분석해 세크먼트 단위로 심층적 분석을 통해 알아본다.
A/B 테스트의 한계
주어진 조건에서 최적의 결과를 찾는 도구이기 때문에, 모든 의사결정을 완벽하게 해결할 수는 없다.
A/B 테스트 결과는 테스트 당시에만 유효하다. 계절, 시장 상황, 사용자층, 취향 변화 등의 요소에 의해 결과가 계속 달라질 수 있다.
한계점을 이해하고 보완적 방법을 함께 사용하는 것이 중요하다.