A-B test?

• 이름 그대로 a안과 b안을 고객에게 테스트 해보는 것

  • 비교를 통해 어떤 방식이 더 좋은지 정략적으로 비교 가능하다

• e.g 사이트의 ui를 a집단과 b집단을 뽑아 제공

  • 어떤 집단이 저 좋은 결과를 도출해내는지 확인
  • 
    • 사진 출처
  • 위와 같이 UI를 바꾸는 AB-Test를 하니 기부를 5%더 많이 했다고 한다.

주의점

• 중요한 것은 집단을 추출할 땐 임의적 할당을 해야 한다.
  • 주관이 들어가면 주관에 의한 차이인지, 테스트에 의한 차이인지 모호해짐

단점

1. 테스트 기간 동안 매출 손실이 발생할 수 있다.
2. 테스트 기준 이외의 문제가 발생할 수 있다
   1. e.g 쇼핑몰 UI를 변경했는데, 현실의 옷의 트렌드가 변경됨
3. 특정 기준에서만 A-B Test를 하니 전역이 아닌 지역 최적점만 도출 할 수도 있다.

[ Reference ]

• https://datarian.io/blog/a-b-testing
• https://www.slideshare.net/yongho/ss-32267675

개인적으로 공부한 내용 포스팅 중
잘못된 정보는 지적해주시면 좋겠습니다!