A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석 | 요즘IT
A/B 테스트 제대로 이해하기: 3 A/B 테스트 계산기의 세팅과 해석 | 요즘IT
앞선 두 편의 글에서, ‘실제 A/B 테스트를 설계할 때 우리가 진짜 궁금한 질문’과 ‘A/B 테스트 실험 결과의 유의미한 방안’, 그리고 ‘이를 바탕으로 A/B 테스트의 설계 및 해석에 필요한 기초
yozm.wishket.com
구글 옵티마이저: A/B테스트 툴, 전환율과 더불어 표본 크기에 따른 유의미한 결과 해석에 도움을 줌
A/B테스트 툴을 사용하지 않고, 파이썬을 사용하지 않고도 간단한 입력만으로도 계산을 제공하는 웹사이트가 존재한다.(
ABTest Guide)
A/B-Test Calculator - Power & Significance - ABTestGuide.com
A/B-Test Calculator - Power & Significance - ABTestGuide.com
Standard error B ( CRB * (1-CRB ) / VisitorsB)1/2
abtestguide.com
1. Test Data : 각 그룹의 표본 크기와 그룹별 최종 전환 숫자
2. Settings - Hypthesis : 단측검정과 양측검정 세팅
3. Settings-Confidence: 신뢰수즌을 몇 %로 설정할지
양측과 단측검정중 어느 쪽을 선택해야하나?
더 안전한 접근은 양측검증이다
단측검정일 때는 유의수준이 90%라면 100번 중 10번은 효과가 없다고 나와도 됨
양측검정일 때는 더 크지 않은 경우 5번, 더 작지 않은 경우 5번 ( 결국엔 효과 없다는 말임)
만약 단측검정이라면 a가 b보다 낮을 때 효과가 없다고 하겠지만.
양측검정일 때는 효과가 있다고 해석할 수 있다는 것
결과가 not significant가 나온다고 하더라도 차이가 없다고 넘길 것이 아니라, 차이가 있을 수도 있는데? 하고 계속 분석해야한다.
인사이트 : 아무리 편하게 A/B테스트를 계산할 수 있는 웹사이트나 툴이 있다고 해도 결국은 신뢰수준 설정과 같은 기본적인 통계지식은 가지고 있어야 한다는 것을 깨달았다. 그리고 더 효과가 좋게 나오길 원하는 그룹이 있더라도, 양측검정을 해서 더 안전한 결과를 얻어야 한다고 생각했다.
'데이터분석 6기 > Article_Study' 카테고리의 다른 글
| Article Study A/B테스트 제대로 이해하기 1 -2 (0) | 2025.04.15 |
|---|---|
| Article Study - 엑셀로 온라인 서비스의 RDB 이해하기 (1) | 2025.04.03 |
| Article Study 양질의 데이터를 판별하는 5가지 방법 5 (1) | 2025.04.01 |
| Article Study - 양질의 데이터를 판별하는 5가지 방법 3 (0) | 2025.03.19 |
| Article Study - 양질의 데이터를 판별하는 5가지 방법 2 (0) | 2025.03.17 |