STEP 1. 문제 선택
🔶 네이버 검색
상황: 네이버 검색 광고 vs 검색 신뢰도
만약 내가 네이버 담당자라면…
수익을 위해 검색 결과 상단에 광고를 더 많이 배치함
하지만 사용자들은 “광고인지 아닌지 헷갈린다”, “광고가 너무 많아 실제 정보를 찾기 어렵다”고 느끼고 있음.
비즈니스 성과(데이터):
광고 클릭률 : 약 20% 증가
광고 매출 : 증가
자연 검색 클릭률 : 감소
검색 신뢰도 관련 사용자 불만 증가
사용자 경험 문제/딜레마:
광고 확대 → 신뢰도 하락
광고 축소 → UX 개선 / 매출 감소
🔶 스포티파이 광고 및 제한 vs 사용자 경험
상황:
당신은 Spotify의 PM입니다.
무료 사용자에게 광고를 삽입하고, 셔플 재생 및 곡 건너뛰기 제한을 두어 유료 구독 전환을 유도하고 있습니다.
비즈니스 성과:
무료 경험을 일부 불편하게 만들어 유료 전환을 유도
- 무료 사용자 이탈률 : 20% → 28% 증가
- 평균 청취 시간 : 60분 → 45분 감소
- 유료 전환율 : +10% 증가
사용자 경험 문제:
무료 사용자에게 무조건 플레이리스트는 셔플로만, 다른 노래로 넘어가기 전에 중간 광고, 곡 건너뛰기 제한.
- 제한 완화 → UX 개선 / 유료 전환 감소
- 제한 유지 → 유료 전환 증가 / 사용자 이탈 증가
🔶 쿠팡 로켓프레쉬 배송 기준금액
상황: 터치한번으로 주문다음날 새벽에 빠르게 문앞까지 배송된다는 이점을 강조중 / 다만 쿠팡와우회원이 아닌경우 사용불가하며 로켓프레쉬 사용을 위해 쿠팡와우를 가입하더라도 15000원이상의 식재료를 담아야 배송가능
👉내가 만약 쿠팡의 PM이라면 와우회원가입유도 + 기준금액유지 VS 와우 가입하지않아도 프레쉬 사용가능 + 기준금액 낮추기
비즈니스 성과: 사용자의 로켓프레쉬 사용을 위해 매달 쿠팡와우 회원비를 결제유도 및 기준금액 유지
👉 기준금액을 꼭 채워야한다는 부담 증가로 이탈률 25% >35%
👉와우회원 구독료 및 기준금액이상의 물품판매로 인한 수입 상승
👉신규 가입 10% 증가
사용자 경험 문제:
필요한 식재료를 장바구니에 추가해도 만오천원 이하일시 금액을 채우기위해 필요하지않았던 식재료 추가구매
👉와우 가입하지않아도 프레쉬 사용가능 + 기준금액 낮추기 : 와우회원 구독료로 인한 수입 감소 및 물품판매로 인한 수입 감소 / 프레쉬 사용자 증가
👉와우회원가입유도 + 기준금액유지 : 와우회원 구독료로 인한 수입 유지 OR 증가 , 기준금액 이상의 배송으로 물품 판매 수입 증가 / 사용자 이탈 감소
최종 선택한 문제
→네이버 검색
이유: 모두 경험해본 일이라 공감이 쉽고, 사용자가 큰 피로를 가진 경험이 많을 것 같기 때문이다.
피드백: 근거 찾으면 좋을 것 같다.
피드백 후 추가 내용
네이버 검색광고UX는 비공개라 직접 확인할 수 없어서 여러 자료들을 토대로 생각해 봤다.
- 상단 광고는 높은 클릭률을 확보할 수 있지만, 동시에 오탭과 이탈 위험이 존재해서 사용자의 불편감을 초래할 수 있음
- 광고 노출이 과도할 경우 콘텐츠 소비 흐름이 끊기고 체류시간이 감소하는 경향이 있을 것 같다.
STEP 2. 문제 정의 & 가설 설정
1. 문제 상황
원하는 정보를 찾기 위해 검색하는데, 사용자가 원하는 정보보다 불필요한 광고가 많이 떠 피로해진다.
2. 문제 정의
“검색 화면의 과대한 광고로 인해 사용자에게 피로감을 주고 신뢰성을 낮추고 있다.
이는 장기적인 사용자 유지율을 낮출 수 있다.”
3. 가설
가설 1 (UX 중심)
광고를 탭으로 분리하면, 사용자 피로도를 낮추고 신뢰성을 높일 수 있다.
ex> 전체/블로그/뉴스/사전/광고 이런식으로
→ 이유:
- 사용자가 광고를 구분하는 피로도를 줄여줄 것
- 광고인지 아닌지 구분이 안갔었는데 명확히 구분되어 신뢰도가 높아질 것
가설 2 (Biz + 균형 전략)
상단에 배치된 광고 개수를 줄이면, 피로감을 낮추고 이탈률이 감소할 것이다.
→ 이유:
- 사용자는 대부분 정보를 얻기 위해 방문하므로, 광고의 개수를 줄이면 시간 절약으로 인해 피로도가 감소됨
- 결과적으로 장기적인 이탈률을 낮출 수 있음
가설 3 (UX 중심)
화면에 노출되는 제목 부분에 “광고” 표기(강조)를 명확히 하여 광고글, 광고가 아닌글을 가시적으로 구분 할 수 있게 하면, 광고글을 보고 싶지 않은 사용자의 피로도를 낮출 수 있을 것.
→ 이유: 사용자의 ‘또, 광고글. 속았다’는 느낌을 줄여 신뢰도를 높일 수 있을 것이다.
4. 가설 우선순위 선정
가설 2 선택
- 가설 1의 경우에는, 기업의 입장에서는 사용자가 광고를 보고 유입되어 수익을 올리는 것이 목표이기 때문에 반하는 가설일 것이라 생각.
- 가설 3의 경우에는, 사용자의 입장에서 광고라고 크게 강조시 정보를 읽기전부터 거부감이 들 수 있음
- 👉 기업과 사용자 모두 만족하는 부분으로 생각하여 가설 2 선택
피드백: 광고를 삭제하거나 위치를 변경하면, 광고주 입장에서 불만족하거나, 선호하는 광고 위치가 편향될 것 같다.
피드백: 사용자 입장에서 광고가 중간중간에 나온다면 오히려 피로도가 높아질 것 같다.
피드백 후 추가 내용
광고의 개수나 위치를 얼마나 변동하느냐에 따라 상황이 다르게 전개될 것이다.
- 네이버 입장: 깔끔한 검색결과 환경을 만들어 사용자의 신뢰도 상승을 유도할 수 있다.
- 광고주 입장: 사용자는 오히려 상단 광고를 피해서 중간이나 하단 광고를 보게될 가능성이 있어 위치나 광고 테스트 결과값에 따라 논의할 수 있을 것이다. 또한, 광고주 입장에서 광고 위치에 따른 선택풀이 넓어질 수 있다.
- 사용자 입장: 광고를 분산시켜 본래 상단에 위치하던 광고의 피로도를 낮추고, 중간/하단 광고는 사용자 테스트를 해보면서 개수나 위치 등을 조절하면 이 부분에 대한 피로도도 낮출 수 있을 것이다.
👉중간/하단 광고는 사용자 입장에서 피로도를 낮추기 위해 게시글 옆, 또는 최하단에 배치하는 식으로 피로감을 줄이는 방법을 채용할 수 있다.
STEP 3. A/B 테스트 설계
✅ 실험 목표
광고 노출 방식(개수/위치)개선으로
→ 사용자의 이탈률/탐색 효율 개선 검증 → 기업의 매출/전환율 유지 혹은 개선 검증
🅰️ A안 (기존 방식)
- 상단 광고 개수 : 유지(ex> 5~6개)
- 광고 위치 : 결과 상단
🅱️ B안 (개선안)
유지대상
- 상단 광고 개수 : 축소(ex> 2~3개)
- 광고 위치 : 결과 상단
변동대상
- 상단 광고 2~3개 제외한 광고 위치 : 하단 or 사이드 탭 삽입
👥 실험 대상
- 전체 사용자 중 50%
- 네이버 검색 사용자 전체 대상
- 처음에는 키워드 기반 세그먼트 적용해서 별도 UX로 진행 후 전체로 확대 - 구매의도 키워드(광고 영향 클듯) ->Biz 중요 → “가격/구매/추천”,etc. - 정보 탐색 키워드(UX 중요) → “방법/후기/원인”,etc. ⇒ 추후 결과 분석 시 세그먼트 별로 분석 필요
🔀 트래픽 분배
- A : 50%
- B : 50%
STEP 4. 지표 정의 및 성공 기준 설정
🎯 Primary Metric (핵심 지표)
→ 이 실험이 성공했는지 판단하는 가장 중요한 지표
- 검색 이탈률 감소
- 이유: 광고 감소 이후 사용자가 얼마나 해당 검색 페이지에 머물러 있었는지 직접 확인 가능
- 광고 수익률 유지
- 이유: 기업에서 광고 수익으로 인한 직접적인 손익 확인 가능
📊 Secondary Metric (보조 지표)
→ 핵심 지표를 보완해서, 왜 결과가 나왔는지 설명해주는 지표
- 검색량 유지/증가
- 이유: UX 개선 효과를 확인 가능
- 광고 클릭율
- 이유: 광고의 품질 개선 확인 가능 (광고 게시글 전환율 증/감 확인 가능)
🛡 Guardrail Metric (안정성 지표)
→ 핵심 지표가 좋아지는 대신, 다른 문제가 생기지 않았는지 확인하는 지표
- 광고를 통한 신규인입/수익률 확인
- 이유: 광고 개수가 감소한 만큼 신규인입 or 수익의 감소 우려
- 광고 매출
- 이유: 예상범위 이상 매출 감소 시 문제 발생
- 광고 클릭율
- 이유: 급감할 경우에는 광고 효율성 문제 발생
- DAU, 검색량
- 이유: 사용자 이탈율 확인 필요
성공 기준
- 광고 매출 -5% 이내 유지
- 자연 클릭율 증가
- 이탈율 -5% 이상 감소
STEP 5. 리스크 및 고려사항 도출
⚠️ 리스크
- 매출 감소 리스크(광고 개수 줄이면 클릭율/매출 감소)
- 구매 의도로 검색한 이들에게는 오히려 독이 될 수 있기 때문에, 세그먼트 별로 따로 적용하는게 좋을 것
- 광고주 이탈(광고 성과 떨어지면 광고 맡기는 기업 감소)
- 광고비 축소, 장기 매출 문제 발생
- 광고주에게 사전 메시지 전달,+ 전환율 상승 데이터 확인
- 구매목적도 정보탐색도 아닌 기타 분류에 대한 미지수
- 추후 출시 전 세그먼트 세부화 후 실험이 필요할 듯
⚠️ 외부 변수
- 이벤트 영향(쇼핑시즌, 세일기간, 등등)
- 원래 광고 클릭이 올라갈 수 있는 시기이기 때문에 해당 기간은 피해서 시도해보는것이 좋을 듯
- 광고주 변화
- 광고예산 증가, 광고 모델 변경 등등
- → 클릭율변화 → 바뀐 모델 때문인지 이 실험 때문인지 알 수 없음.
⚠️ 데이터 해석 주의
- 세그먼트를 분리하여 실험으로 진행 했기 때문에 전체 평균이 아닌 세그먼트별 평균으로 확인해야 함
- 클릭율 만으로 판단X, 매출 추이 같이 확인 필요
피드백2:
용어 통일.
검색 이탈률 등을 구체화해서 사용자가 '어떤 타이밍에 행동을 할 때'와 같이 시간+행동 기준으로 정의
가설 선택이 아쉽다.
광고를 줄이는 선택은 기업 입장에서 리스크가 커서 그런 방면으로 가지 않을 것이다.
그 대신, 비지니스 영향도/UX 개선 시 사용자 반응 등으로 하지 않는 것이 어떨까.
당장 개수보다는 사용자에게 인지하는 방면이 좋다.
광고 표시를 강화하는 게 신뢰도를 높이기는 용이하다.
실험 설계가 너프하다.
PC나 모바일, 사용자가 어떠한 성향인지 구체화해서 나누는 것이 좋다.
지표에서 광고 클릭율 중복 고치기
어느 방면으로 지표를 봐야 하는지 확실히 정해야, 핸들링을 구체화할 수 있다.
여럿이서 소통하면서 의견을 내고 조율해가는 과정을 배웠다.
생각해보지 못한 의견을 듣는다거나, 같은 것에 대해 다른 관점을 가질 수 있다는 생각을 하게 되었다.
튜터님이 해주신 피드백도 당장 닥친 내용만을 생각하고 의견을 내느라 크게 고려해보지 못한 부분이라서, PM이 역시 다른 사람들과의 많은 소통을 필요로 하고 중요하다는 사실을 체감했다.
처음 문제 선택에서 여러 유명한 것들을 생각해보던 중, 음악 서비스 중 가장 독특한 시스템을 하고 있던 스포티파이로 작성해보았다. 그러나 트레이드오프 의사 결정 문제로 내기에는 다른 음악 서비스보다 더 사용자 친화적이게 서비스를 제공하고 있는 것 같아, 문제 선택을 잘못한 면이 있는 것 같았다.