Article Study A/B테스트 제대로 이해하기 1 -2

A/B 테스트 제대로 이해하기: 1테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT

A/B 테스트 제대로 이해하기: 1테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT

A/B 테스트 제대로 이해하기: 2A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT

A/B 테스트 제대로 이해하기: 2A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT

 

 

우리는 암묵적으로 원하는 실험 결과가 정해져있다.

 

1. 우리는 암묵적으로 A와 B의 차이가 크기를 바란다.

2. 우리는 암묵적으로 실험이 공정하길 바란다.

3. 우리는 암묵적으로 실험 결과가 우연이 아니길 바란다.

 

따라서 A/B테스트의 진짜 질문은 이래야한다.

A와 B의 차이가 큰가? 그 실허이 공정한가? 그 실험 결과가 우연이 아닌가?

 

그러므로 단순히 트래픽을 반절로 나누고 변수를 하나로 했다 등의 실험 설명보다 더 깊게 파고 들어야한다.

 

일부를 통해서 전체를 추론한다 -> 표본과 모집단

평소 상태(귀무가설), 평소 상황과 대립하는 결과(대립가설)

무언가 하나가 더 낫다고 가정하는 것(A/B테스트) ->단측검정

둘 중 무엇이 더 나은지 알 수 없지만 차이는 있다는 것 ->양측검정

점을 찍어 그 숫자를 예측하는 것 ->점추정

그 숫자의 범위를 예측하는 것 -> 구간추정

각 집단마다 다르게 생기는 결과값의 차이->표준오차

신뢰구간 : 전환율이 40%라 추정할 때 오차가 3%이면 100번중에 95번은 37~43%

유의 수준 : 100번중에 5번은 틀려도 봐준다. 6번부터는 안된다.

 

인사이트

• 우리도 모르게 A/B테스트를 진행할 때 A와 B의 차이가 크고 그 결과가 우연이 아니기를 바라며 실험하는 것 같다. 꼭 A/B테스트가 아니어도 데이터분석을 진행하며 유의미한 인사이트를 얻기 위해 그 차이가 크고 우연이 아니고 공정하기를 일부러 유도하게끔 분석하는 것 같다. 그러기 위해서는 그런 결과가 나오는 주제를 테스트 하는 것이 아니라 원하는 테스트에 그러한 질문을 던져가며 올바른 결과를 내야하는 것을 알게되었다.