A-B test?

  • 이름 그대로 a안과 b안을 고객에게 테스트 해보는 것

    • 비교를 통해 어떤 방식이 더 좋은지 정략적으로 비교 가능하다
  • e.g 사이트의 ui를 a집단과 b집단을 뽑아 제공

    • 어떤 집단이 저 좋은 결과를 도출해내는지 확인
    • Pasted image 20231004185126.png
    • 위와 같이 UI를 바꾸는 AB-Test를 하니 기부를 5%더 많이 했다고 한다.

주의점

  • 중요한 것은 집단을 추출할 땐 임의적 할당을 해야 한다.
    • 주관이 들어가면 주관에 의한 차이인지, 테스트에 의한 차이인지 모호해짐

단점

  1. 테스트 기간 동안 매출 손실이 발생할 수 있다.
  2. 테스트 기준 이외의 문제가 발생할 수 있다
    1. e.g 쇼핑몰 UI를 변경했는데, 현실의 옷의 트렌드가 변경됨
  3. 특정 기준에서만 A-B Test를 하니 전역이 아닌 지역 최적점만 도출 할 수도 있다.

[ Reference ]


개인적으로 공부한 내용 포스팅 중
잘못된 정보는 지적해주시면 좋겠습니다!

'프로그래밍 및 IT > Analysis' 카테고리의 다른 글

Cohort 분석  (0) 2023.10.04
Funnel 분석  (0) 2023.10.04
게임 지표 용어  (0) 2023.10.04
  • Cohort :특정 기간 동안 공통된 특성 혹은 경험을 갖는 사용자 집단
    • 간단히 말하면 같은 조건의 집단의 기간 별 변화를 보는 것
  • 조건은 세분화 하면 좋다
    • Simpson’paradox
      • A와 B를 전체 비교시 A가 더 좋지만 세분화 해서 보면 B가 더 좋을 수 있다

대표적인 인사이트

  1. 사용자 유지 및 이탈 패턴
    1. 게임 기준으로 사용자의 TS 와 같은 기준을 이용하여 기간에 따라 확인하면 줄어드는 부분을 확인하여 개선 포인트를 잡을 수 있다.
  2. 코호트 간 상이한 행동 패턴
    1. 매출로 예를 들면 신규 유저와 기존 유저의 매출 현황을 볼 수 있다.
1월 2월 3월 4월 5월 6월
NRU 10 10 10 10 10 10
RU 10 20 30 40 50 60
1개월 100 90 80 70 60 50
2개월 150 140 130 120 110
3개월 200 190 180 170
4개월 250 240 230
5개월 300 290
6개월 350
SUM 100 240 420 640 900 1200
  • 위 표를 예시로 들면
    1. NRU(신규 등록 유저) 가 매달 10명씩 늘어난다
    2. NRU의 매출은 매달 50씩 늘어난다
      1. 빨간색으로 칠해진 수치가 신규유저 매출
    3. RU(기존 유저)의 매출은 매달 10씩 줄어든다
    • RU의 매출은 완만히 줄어들고, NRU의 매출은 증가추세다
      • 고로 좋은 방향으로 가고있다
    • 비교는 대각선으로 하는 것이 좋다
      • e.g NRU는 NRU끼리 비교, 1달차는 1달차끼리…
      • 옆으로 row를 밀면 아래와 같다
      • 가로로는 감소지만, 아래로는 증가다.
        • 시간이 지나면서 점점 매출이 증가 중.
1달차 2달차 3달차 4달차 5달차 6달차
1월 100 90 80 70 60 50
2월 150 140 130 120 110
3월 200 190 180 170
4월 250 240 230
5월 300 290
6월 350

[ Reference ]


개인적으로 공부한 내용 포스팅 중
잘못된 정보는 지적해주시면 좋겠습니다!

'프로그래밍 및 IT > Analysis' 카테고리의 다른 글

AB_Test  (0) 2023.10.04
Funnel 분석  (0) 2023.10.04
게임 지표 용어  (0) 2023.10.04
  • Funnel 즉 깔대기 분석이다.
  • 특정 조건들을 추가하면서 최종 목표까지의 전환율을 보는 분석
    • 즉 이탈율이 큰 지점을 알아내는 것이 목적
  • 위 과정을 통해 서비스의 취약점 및 개선점을 찾을 수 있다.
    Pasted image 20230925173230.png
  • 위 사진과 같이 필터링이 됨에 따라 고객의 수가 줄어간다.
    • 위 과정을 보면 어떤 단계에서 이탈을 하는지 확인 가능하다.

SQL로 구현

  • 간단하게 구현하면 다음과 같다.
    • 간단하게 하기 위해 select절의 schema는 user_iddistinct_user_id로만 작성
-- 해당 기간동안 접속한 유저들
with visit as (
	select
	    distinct_user_id
	from user_tb
	group by 1
	where eventdate between "start-date" and "end-date"
) ,
-- 유저중 회원가입 한 유저
with signup as (
   select
		distinct_user_id
	from visit a
	inner join user_tb b on b.user_id = user_id = a.distinct_user_id
	where is_signup = true
),
-- 활동을 하는 유저
with au as (
   select
		distinct_user_id
	from signup a
	inner join user_tb b on b.user_id = user_id = a.distinct_user_id
	where is_active = true
),
-- 구매 한 유저
with pu as (
   select
		distinct_user_id
	from au a
	inner join user_tb b on b.user_id = user_id = a.distinct_user_id
	where is_paying = true
) ,
with funnel_tb as (
select 'visit' as step ,count(1) as user_cnt from visit
union
select 'sigh up' as step ,count(1) as user_cnt from signup
union
select 'au' as step ,count(1) as user_cnt from au
union
select 'pu' as step ,count(1) as user_cnt from pu
)

select step
	 , user_cnt
	 , user_cnt / lag(user_cnt, 1) over () as drop_off
from funnel_tb;
  • 간단하게 보면 위와 같이 볼 수 있다.

AARRR

  • Dave McClure가 만든 분석 프레임워크
  1. Acquisition(획득)
    • 회사 입장에서 고객이 생기는 것.
      • 다운로드, 사이트 방문, 등이 존재한다
      • CAC : 고객 획득 비용
        • 1명의 고객을 획득하는데 사용한 비용.
        • 광고비 : 300 , 유입 고객 : 100 -> CAC : 3
      • DAU/MAU (Daily Active User / Monthly Active User)
        • 전체 유저가 아닌 일간, 월간 방문 유저
  2. Activation(활성화)
    • 고객 중 실제로 활동을 하는 고객
      • PV (Page View)
        • 명칭 그대로 Page를 본 횟수
      • DT(Duration Time) , TS(Time spent) , MTS (Mutigame Time Spent) …
        • DT , TS : 서비스, 게임을 소비한 시간
        • MTS : 실질적으로 게임을 플레이 한 시간
      • Aha Moment
        • 제품의 핵심 가치를 고객이 경험하는 순간
          • 회사마다 본인들이 정한 기준점
  3. Retention(유지)
    • 고객의 재방문
      • Retention Rate
        • 고객 유지 비율
        • 고객 20명 , Retention Rate : 50%
          • 1달 지나면 10명 남고, 그 다음 달은 5명이 남을 것을 예상
      • Churn Rate
        • 이탈 비율
        • 고객 20명 , Churn Rate : 50%
          • 1달 지나면 10명 이탈, 그 다음 달은 5명이 이탈할 것을 예상
  4. Revenue(수익)
    • 실질적으로 물건등을 구매한 것
      • LTV ( Life Time Value)
        • 1명의 고객이 구매(이익)의 총합
          • 1명의 고객이 1,2,3,4,5 만원을 달마다 사용
          • 1+2+3+4+5 = 15만원 사용
          • 해당 고객의 LTV = 15만원
      • PU (Paying User)
        • 구매한 유저
      • ARPU (Average Revenue Per User)
        • 수익 / 모든 고객
      • ARPPU (Average Revenu Per Paying User)
        • 수익 / PU
  5. Referral(추천)
    • SNS홍보 이벤트, 추천인 가입
      • Referral Traffic
        • 여러 체널에서 유입된 트래픽에 따라 어디서 유입됬는지 확인 가능

[ Reference ]


개인적으로 공부한 내용 포스팅 중
잘못된 정보는 지적해주시면 좋겠습니다!

'프로그래밍 및 IT > Analysis' 카테고리의 다른 글

AB_Test  (0) 2023.10.04
Cohort 분석  (0) 2023.10.04
게임 지표 용어  (0) 2023.10.04

ARM Model

  1. Acquisition 고객 확보
  2. Retention 고객 유지
  3. Monetization 유료화

지표 용어

유저 관련 지표

용어 설명
UV ( Unique Visitor ) 특정 기간 동안 방문 유저의 합, 중복 불
DAU ( Daily Active User ) 일 단위 UV
WAU ( Weekly Active User) 주 단위 UV
MAU ( Monthly Active User) 월 단위 UV
RU ( Resistered User) 가입자 수
ARU ( Return Resistered User) 누적 가입자 수
RRU ( Return Resistered User) 복귀 유저 수
NRU ( New Resistered User) 신규 유저 수
MCU ( Maximum Concurrent User ) 최고 동시접속 자 수
Retention 특정 기간 별 재접속 유저 수
Churn 이탈 유저
Stickness 고착도, 2개의 기준 접속률 e.g DAU/MAU * 100
Organic User 자연 유입 , 광고 없이 유입한 유저
Non-Organic User 광고 유입 , 광고 등을 통해 유저
  1. 유저 접속 관련 지표
  2. 특정 기간 단위로 나눠 분석
  3. 목표
    1. NRU 높이기
      1. 신규 유입은 아주 중요하다
      2. 게임 오픈 시 모객 마케팅에서 신경써야할 지표
    2. Retention 관리
      1. 신규 유입이 많더라도, 재방문이 낮으면 게임은 죽어가는 것 이다.
      2. 게임 퀄리티를 보여주는 지표로 사용 가능
          1. 1000명이 유입 되었지만, 남아있는 유저는 200명, 20%만 남아있다
    3. 휴먼유저 관리
    4. DAU,MAU 높이기

매출 관련 지표

용어 설명
PU ( Paying User) 1회 이상 결제한 유저
Non-PU (Non Paying User) 결제를 하지 않은 유저
PPU (Pay Per User ) PU / 접속 유저 (기간별 누적)
ARPPU (Average Revenue Per Paying User ) 전체 결재액 / PU (기간별 누적)
ARPU ( Average Revenue Per User ) 전체 결재액 / 전체 유저 (기간별 누적)
LTV ( Life Time Value) 유저 당 결제금액
  1. PPU가 너무 낮으면, 유료 아이템 설계가 잘못 되어있을 가능성이 높다
    1. 위 공식은 100% 올바르다고 볼 수 없다. 예측치 이기 때문에 상황에 따라 유동적으로 진행해야한다.

마케팅 관련 지표

용어 설명
광고 단가
UAC ( User Acquisition Cost ) 유저 획득 비용
CPI ( Cost Per Install ) 설치 시 비용
CPA/CPE ( Cost Per Action/Engagement) 앱 실행 혹은 앱 내 행위에 의한 과금
CPC ( Cost Per Click) 광고 클릭 시 과금
CPM ( Cost Per Mille) 1000번 노출 시 과금
K-Factor 유저 1명 가입 시 추천 등을 통한 추가 가입 비용
광고 /비용
Impression 광고 노출 수
CTR ( Click Though Rate) Impression 당 클릭률
CR ( Conversion Rate) 전환율, e.g 앱설치..
eCPM ( Effective Cost Per Mille ) 유효 1000 노출 당 광고주에게 지불하는 비용
eCPI ( Effective Cost Per Install) 유효 설치당 비용

[ Reference ]


개인적으로 공부한 내용 포스팅 중
잘못된 정보는 지적해주시면 좋겠습니다!

'프로그래밍 및 IT > Analysis' 카테고리의 다른 글

AB_Test  (0) 2023.10.04
Cohort 분석  (0) 2023.10.04
Funnel 분석  (0) 2023.10.04

+ Recent posts