Article_Study 12 - 검증할만한 가설은?

실험 조직으로 거듭나기: 2 검증할 ‘만’한 가설은? | 요즘IT

실험 조직으로 거듭나기: 2 검증할 ‘만’한 가설은? | 요즘IT

가설 검증 프로세스

1. 검증할 가설 선택
2. 가설 검증 방식 결정
3. 검증 지표와 목표 수치 결정
4. 실험 기간 결정
5. 기존 실험환경 튜닝 → 최적환경
6. 실험 진행 및 검증 데이터 모으기
7. 데이터 분석 및 가설 검증
8. 학습

검증할 가설 선택

• 현지 상황을 개선하는가?
• Actionable한가? → 우리가 다음에 어디로 가야 하는지 알 수 있을까?

검증 방식 결정

• AB테스트 : 서로 다른 시안을 비슷한 사용자 군에게 동시 노출 시켜서 유의미함을 판단하는 실험, 비교를 통한 가설 검증
• 실험 전후 검증 : 실험이 진행되기 전과 후의 고객 반응 비교 →실험 변수 통제 어려움
• XYZ 검증 : 실험 전후 검증과 비슷, 고객 행동을 정량적으로 접근하는 차이, X의 Y퍼센트는 Z할 것이다.

인사이트 :

데이터분석가 채용공고 역량에 AB테스트가 써있는 걸 많이 봤는데 AB테스트가 정확히 무엇을 의미하는지는 몰랐다. 이번 아티클을 통해 AB테스트에 대해 알게 되었고 모든 가설을 검증하는 것이 아닌 필요한 가설만 검증한다는 점이 특히 기억에 남는다.