조사 경쟁력 1 페이지

본문 바로가기

응답률이 아닌 표본선정의 대표성 확보

응답률 중심으로 한 표본오류 문제보다는 표본추출 방법 등 대표성 확보가 중요
“응답률이 높으면 신뢰도가 높지만, 필수적인 조건은 아니며, 응답률이 낮아도 정확한 조사가 가능한데 표본 추출과 조사 방식 등이 이보다 중요한 요인이다” (허명회 고려대학교 통계학과 교수, 2007년)

① 최소 표본 이상으로 표본추출

- 여심위에서 제시한 선거여론조사의 최소 표본 이상 확보
▶ 전국단위 조사 1,000표본, 광역단체장과 시·도 단위 조사 800표본, 지역구 국회의원과 자치구 시·군 단위 조사 500표본 이상
▶ ARS 전화조사의 상대적 저비용 이점을 반영하여 1,000 ~ 2,000표본 추출

② 표본 추출의 무작위(Randomness) 원칙

- “선거여론조사 기준에 따르면 이전 조사에서 사용한 표본을 되풀이해 써서는 안된다. 과거 조사에 응한 경험이 있는 사람은 조사에 따른 학습 효과에 따른 결과를 왜곡할 우려가 있다.”

▶ 무작위 추출기법인 RDD 방식을 사용하며, 자체DB를 구축·사용하는 선별적 조사 배제
▶ 무선전화면접에서 8000여개 국번호 사용한 표본 vs. 60개 국번호 사용한 표본
(2017년 5.9 조기대선 3월 조사·4월 조사 결과 사례)

③ 응답자 특성과 벗어나는 추정치 편향(bias of estimates) 최소화

- 비접촉자와 거부자 등 무응답자를 적절히 통제하여 응답률과 접촉률을 함께 관리
▶ 일반적으로 부재중 등 연결 불가능한 비접촉자 비율이 최소 60% 임을 감안한 표본을 구축
▶ 비접촉자의 경우 반복 접촉(call back)을 통해 응답자가 될 수 있도록 시도 : 최대 5회까지 접촉률을 높여 표본의 대표성을 강화
※ 여론조사기관은 통상 2~3회 실시, 응답자 민원 제기와 시간·비용 최소화가 주원인
- 충분한 조사기간 및 탄력적인 조사시간대 선정으로 비접촉자를 줄이도록 조치
▶ 적정 유/무선전화 비율을 적용 : 유선비율은 평균 20% 이하로 하되, 인구통계자료를 근간으로 탄력적으로 적용
※ 유선비율이 10%p 높아질수록 보수층 지지율이 2%p 높아진다는 실증사례 (미국 오아이오주립대 김재광 교수, 2017년 4월)
- 통신사에서 제공하는 안심번호를 사용하여 응답 기피자와 거부자를 최소화

④ 인구비례에 따른 표본 구성 및 적정 가중치 부여

- 인구비례 표본 구축이 우선되도록 접촉자를 충분히 넓히고, 최종적으로 중앙여론조사심의위원회(여심위) 제시한 가중치 범위(0.5~2.0) 내에서 조정
▶ 응답률이 상대적으로 낮은 인구비례 표본(성별, 연령별, 지역별)에 대한 접촉률을 높여 무리한 가중치 조정을 지양
- 특정 정당·정치인에 유리한 결과가 나오도록 표본추출 단계부터 왜곡하는 ‘표본 왜곡’ 문제 방지
▶ 통신사 제공하는 안심번호 활용, 인구비례에 따른 표본 구축, 자체 응답자DB 배제

자료 수집 기관의 독립성과 중립성 보장

① 허술한 여론조사 문항 구성, 조사의 객관성과 공정성 훼손

- “선거에 관한 여론조사를 하는 경우, 피조사자에게 응답을 강요하거나 조사자의 의도에 따라 응답을 유도하는 방법으로 질문을 하거나 피조사의 의사를 왜곡하는 행위”
▶ 편향되도록 하는 어휘나 문장 사용을 배제

② ‘기관효과에 따른 차이’를 최소화하여 중립성 보장

- 여론조사기관마다 면접관의 숙련도나 사용하는 설문 문구, 조사 방식, 표본 추출방식 등이 달라 동일한 조사라도 조사기관마다 결과의 차이를 보임
▶ 미디어리서치는 자체 조사기관의 추이를 주기적으로 검토하여 객관성 확보에 주력

③ 여론조작을 할 수 없도록 내·외부 감시시스템 구축

- 숙련된 조사 연구원이 세세한 부분까지 설문이 편향되지 않도록 교정 작업 수행
- 중앙여론조사심의위원회에 공개 및 설문문항 일반인 공개를 통해 객관성 확보
- 표본 추출 이후의 전화 면접조사 과정을 실시간 모니터링 및 감독 수행

편향 사례

▶ (특정 응답을 강요하는 사례) “현 정부는 국민의 안전 등을 고려해 원자력 발전소를 더 짓지 않는 방향으로 에너지 정책을 추진하고 있다”
→ 탈원전 정책에 찬성한다는 의견이 60.6%로 높음 (2016년 10월, 리얼미터 조사)

▶ (대북 정책에 대한 여론조사에서 응답지를 구성시 선택지 제한 오류 사례)
‘① 매우 지지한다 ② 어느 정도 지지한다 ③ 별로 지지하지 않는다 ④ 보통이다’

응답자의 심리적 편향까지 잡아내는 AI기반의 Big Data 분석모델 개발

∙기존 여론조사가 안고 있는 본질적 한계점
- “여론조사는 통계적 대표성은 확보할 수 있으나 정치적 대표성은 확보할 수 없다”
(사회학자 브르디외(Bourdieu, 1973))
-“여론조사는 일반시민의 소리를 통계적으로 집적한 것에 불과하므로 여론을 잘 측정하지 못한다”
(정치학자 잴러(Zeller, 1992))

∙정형·비정형 데이터를 통합하여 데이터 마이닝 분석모델 개발
- 표면적인 응답자 결과에 반영된 심리적 편향을 찾아내고, 향후 최종선택에 도달하는 동안 바뀌거나 부동층의 향방을 파악하기 위한 AI · 데이터 사이언스 기반의 머신러닝, 정형 데이타 분석, 텍스트 마이닝 분석, 소셜 네트워크 분석 등 통계분석을 접목

▶ 응답자 선택심리를 반영한 선호-선택 차이분석 모형
▶ 유사집단으로 묶는 분류분석
▶ 군집분석을 통한 응답자 특성간 시각화
▶ 소셜 네트워크 분석을 이용한 워드 클라우드, 토픽 모델링 분석 등


업체명 : 미디어리서치  | Tel : 02-780-0736  | 주소 : 서울특별시 영등포구 국회대로 780(엘지 여의도 에클라트)620호
Copyright © 미디어리서치. All rights reserved.