Week 2-4 실험/준실험 접근법의 한계

Limitations of RCT : Specifically Defined Treatment

주로 RCT의 장점만 설명함~

한계점을 얘기하자면! 

 

재택근무가 생산성에 미치는 효과에 대해 조사함

재택근무와 현장근무가 합쳐진 Hybrid working에는 적절한지 알 수 없음

 

RCT는 구체적으로 어던 것을 알고 싶은지 정하는 것이 중요함

물이 해로운지? 이는 적합하지 않음

양이 얼마인지, 어떤 물인지 등등 정해야 함

즉, 너무 다양한 T가 있을 수 있기 때문에 Outcome이 다양해서 causal effect를 정하기 어려움

 

구체적이고 potential outcome이 명확하게 있어야 함!

실험을 통해서 인과관계를 밝혀냈고 이를 확장시키는 것은 한계가 있음

Limitations of RCT : External Validity

다른 상황에 일반화하는 것은 어려움

Randomization에 대한 2가지를 알아야 함

Random assignment를 통해임 ! selection bias를 효과적으로 제거함으로써 인과관계를 효과적으로 도출해낼 수 있음

그룹의 control 과 treatment간의 차이를 잘 발라내서 causal effect를 알 수 있음

이는 이 SAMPLE 이내에서만 의미함

이 Sample이 전체 Population으로 확장되기 위해서는 전체집단을 대표해야 함

그러기 위해 Population에서 random selection을 한다면 가능함~

BUT 항상 가능한 것이 아님

EX 1) 재택근무 사례

실험을 통해서 추정한 효과가 재택근문에 자원하지 않을 때도 이 효과가 그대로 적응될것인지?

생각한다면 그렇지 않을 가능성이 더 큼

 

RCT를 통해서 구한 ATE1과 ATE2는 다를 수 있음

 

텔레마케터는 저숙련자가 대부분임

해당 연구결과가 미국에도 적용될지?

IT 개발자같은 고소득자도 해당될지? 다른 직업군에도 적용될지?

무작위 결과를 다른 사례에도 적용하는 것은 맞지 않음

 

한 집단에서 Causal effect를 다릏게 하는 것을 배움!! 나중에~

RCT를 기준점으로 모방하고자 하는 전략임!

RCT의 한계가 대부분의 한계라고 이해할 수 있음

 

EX) NBA 농구 대표적인 사례

농구경기 NBA를 이용해 언더독의 반란으로 말함

작은 점수차로 지고 있는 팀이 최종적으로 이길 확률이 높다! 

뒤에서 자세히 다룸~~

준실험 방법론 중 하나임 

2011년에 발표됨!

 

최근연구가 발표됨~

해당 연구에서 사용했던 것을 다른 스포츠에 적용

-> 영향 X, 심지어 같은 NBA 경기에서도 연구했던 그 기간을 제외하고 인과적인 효과가 없음

 

새로운 후속연구는 기존연구의 분석이 잘못됐다는 것은 X

기존 세팅을 일반화하는 것을 조심해야 함!!!

Reconciling Internal Validity and External Validity

Internal Validity 에 초점에 맞춰있음

External Validity 에는 희생이 따르고 있고

이게 가장 큰 한계점임

본인의 연구결과를 과대포장하지 않기~

 

전체 집단에 대한 일반화가 요구되지 않을 수도 있음

대표 샘플이 없을 때도 보완할 수 있음 

observational study하기

Beware of the Caveats of Causal Inference Approach

완벽한 방법론은 없고 이는 인과추론도 마찬가지임

가장 치명적인 단점은 인과추론으로 다루지 못하는 문제가 여전히 다양함

인과추론 방법론에만 맹신하면 인과추론으로 연구되지 못하는 수많은 문제를 다루지 못함

세상의 폭을 좁힐 수가 있음

 

현시점에서 Causal Inference에 최전선에 있는 교수님도 이에 대해서 공감하고 있음

 

인과추론이 언제 필요한지 각 방법론의 장단점이 필요하고 큰 틀에서 바라보는 안목이 필요하다몽~~