지난 시간에 우리나라에서 실시되는 여론조사의 품질이 매우 낮다는 이야기를 했다. 우리나라에서 이뤄지는 여론조사 결과를 신뢰하기 힘든 이유는 ‘기본 원칙’을 지키지 않기 때문이다. 여론조사 품질에 영향을 미치는 요소는 매우 많은데, 그 많은 요소 중 하나라도 지키지 않을 경우 ‘불량품’이 될 가능성이 매우 크다. <그래도 지구는 돈다…여론조사는 천동설인가 지동설인가? 기사 참조>

그런데 우리나라에서 실시하는 여론조사는, 품질에 영향을 미치는 수많은 요소들 대부분이 ‘부적절’하게 투입되는 경우가 많다. 우리나라 여론조사가 저품질인 이유에 대해 살펴보려면, 여론조사 품질에 영향을 미치는 모든 요소들을 살펴봐야 하지만, 지면이 한정돼 있는 관계로 오늘은 여론조사 품질에 결정적 영향을 미치는 요소 한가지 표본추출(샘플링)에 대해서만 살펴보도록 하겠다. 

여론조사 표본 추출이 중요한 이유

1936년 미국에서는 어마어마한 일이 벌어졌다. 누가 대통령이 될 것인지 예측하기 위해 대중잡지 리터러리 다이제스트(Literary Digest)와 여론조사 기관 갤럽(Gallup)이 한판 승부를 벌인 것이다. 

리터러리 다이제스트는 무려 240만명을 대상으로 조사를 했다. 반면 갤럽은 고작 1500명을 대상으로 대선 후보 지지율을 조사했다. 그런데 결과는 갤럽의 압승이었다. 리터러리 다이제스는 공화당 알프레드 랜던(Alfred Landon) 후보의 당선을 예측했다. 반면 갤럽은민주당 프랭클린 루스벨트(Franklin Roosevelt) 후보가 56%의 지지율로 당선할 것이라고 발표했다. 결과는 루스벨트가 62%라는 압도적인 득표율을 기록하며 대통령 당선됐다는 것이다. 

리터러리 다이제스트는 더 많은 돈을 들여, 더 많은 사람을 대상으로 조사했지만, 갤럽에 완패했다. 왜 이런 일이 벌어졌을까? 비밀은 표본추출의 퀄리티(질)에 있었다. 

리터러리 다이제스트가 사용한 표본추출 방식은 ‘오염 된 샘플 추출 방식’이었다. 리터러리 다이제스트는 대선 지지율 응답자를 추출 할 때 잡지의 정기구독자, 전화번호부, 자동차 등록명부, 사교클럽 인명부에서 뽑았다. 

얼핏 보면 응답자를 무작위 추출한 것처럼 보인다. 그러나 이 방식은 큰 문제점을 지니고 있었다. 경제적으로 부유한 사람이 더 많이 응답할 가능성이 컸던 것이다. 

그 당시만 해도 자동차와 전화기는 부의 상징이었다. 그런데 리터러리 다이제스트는 표본 추출을 쉽게 하기 위해 부자들만을 대상으로 여론조사를 실시한 것이었다. 그리고 그 결과는 ‘대망신’이었다. 

여론조사는 어떤 과정을 거쳐 부정확해질까?

2000년대 초반 인터넷 포털 기업들이 여론조사 사업을 하려고 한 적 있다. 1천만명이 넘는 포털 회원 명부와 전화가 아닌 인터넷 조사를 통해 신속하고 비용을 절감할 수 있다는 이유에서 상당한 주목을 받았다. 그러나 결과는 참담했다. 

여론조사 결과의 신뢰성을 담보할 수 없었기 때문이다. 인터넷 포털 기업이 실시하는 여론조사 결과를 믿기 힘든 이유는 무엇이었을까? 그 원인은 1936년 미국 대선에서 리터러리 다이제스트가 대실패를 했던 것과 비슷하다. 

2000년대 초반 컴퓨터는 자동차보다 싼 제품이지만, 전화기보다는 훨씬 비싼 제품이었다. 그리고 경제적 형편에 따라 인터넷 환경도 매우 달랐다. 지금은 초고속 인터넷이 보편화되었지만, 당시만 해도 전화회선을 이용해 인터넷을 사용하는 경우도 많았다. 

또 인터넷이란 신문물을 잘 활용할 수 있는 연령대는 상대적으로 젊은 계층이었다. 1936년 대선에서 리터러리 다이제스트가 공화당 지지층만 과잉 표집한 것처럼, 인터넷 포털도 특정 계층만 과잉 표집하는 여론조사를 실시한 것이었다. 

1936년 미국의 대중잡지 리터러리 다이제스트와 한국의 포털 기업이 정확한 여론조사를 실시하는데 실패한 이유는 일종의 ‘패널’조사 방식을 사용했기 때문이다. 패널조사는 여론조사에 응답할 사람을 미리 모집해 놓고, 이들을 대상으로 여론조사를 실시하는 것을 뜻한다. 

대통령 선거는 전국민을 대상으로 실시하는 선거이기 때문에, 이론적으로는 전국민이 여론조사에 응답할 가능성을 열어놓아야 한다. 그러나 특정 계층만 과잉 표집될 수 있는 방식을 언론사와 여론조사 기관이 계속 사용함으로써, 여론조사 신뢰성에 대해 국민들이 불신하는 ‘계기’만 만들고 말았다. 

역사를 통해 패널조사 방식은 부정확한 여론조사 기법이라는 것이 증명됐지만, 한국에서는 여전히 패널조사 방식이 사용되고 있다. 2012년 대선에서 YTN은 출구 조사를 하면서 패널조사 방식을 사용했다. 

결과는 말하지 않아도 여러분이 짐작하는 대로이다. 

그런데 패널조사 방식이 부적절하다는 인식이 전 국민적인 관심이 쏠리는 대선을 통해서 세간에 널리 퍼졌지만, 여전히 패널조사 방식이 대통령 선거 시즌과 맞물려 활용되고 있다. 

그리고 이런 부정확한 기법으로 실시된 여론조사 결과는 중앙선거여론조사심의위원회를 통해 공표되고, 각종 언론사를 통해 확산된다. 

인간이 손을 대지 않으면 자연은 균형을 맞춘다

그럼 어떤 방식으로 여론조사를 실시해야 정확할까? 정답은 자연이 균형을 맞춰 나가는 것과 똑같다. 인간이 인위적인 힘을 가하지 않는 것이다. 

70년대, 80년대 심각한 사회적 문제 중 하나가 바로 인구의 성비 불균형이었다. 과학의 힘으로 ‘낙태’가 가능해지자, 여아를 임신할 경우 ‘낙태’를 해버리는 일이 우리나라에서 벌어졌던 것이다. 결과는 남자 아이가 과도하게 태어나고, 여자 아이는 적게 태어나는 것이었다. 

인간이 인위적인 힘을 가하지 않으면 자연은 50대50의 성비 균형을 갖추게 된다. 인간 뿐만 아니라 모든 자연 현상에서 자연스러운 균형이 맞춰진다. 

그런데 우리나라에서 실시되는 여론조사에는 보이지 않는 손이 작동할 여지가 굉장히 많다. 2012년 국회의원 선거를 앞두고 이정희 통합진보당 대표가 ‘여론조사 조작’을 시도한 것이 대표적인 사례다. 

당시 이 대표 측은 민주당과의 후보 단일화 여론조사 경선 과정에서 “지금 ARS 60대로 응답하면 전부 버려짐. 다른 나이대로 답변해야 함” “ARS 60대와 함께 40∼50대도 모두 종료. 이후 그 나이대로 답하면 날아감” 등의 문자를 발송했다. 

당원과 지지자들에게 연령대를 속여서 응답하라는 지시를 한 것이다. 

이런 지시가 먹혀들었던 이유는 여론조사 방식의 한계가 명확했기 때문이다. 여론조사 조사원이 전화 면접 방식으로 조사를 하지 않고 ARS 자동 응답 방식을 사용했는데, 이럴 경우 여론조사에 응하는 사람이 나이 등을 속여도 이를 알 방법이 없다. 

또 표본추출이 무작위 추출이 아니라 할당추출 방식이 사용된 점도 보이지 않는 손이 움직일 공간을 만든 원인 중 하나이다. 

또 하나 의심해 볼 수 있는 점은 여론조사 업체가 일정부분 패널조사 방식을 적용한 것 아닌가 하는 점이다. 당시 여론조사를 실시할 때 응답률이 굉장히 높았는데, 이 때문에 이 대표측 캠프에서는 다급하게 ‘연령대 조작 응답’을 문자로 지시를 내려야 했다. 

즉, 여론조사 업체가 평소 응답률이 높은 ‘전화번호’를 별도로 보관하고 있었고, 이 번호를 여론조사를 실시할 때 마다 ‘적용’해온 것 아니냐는 것이다. 

만약 당시 여론조사 과정에서 패널방식이 적용됐다면, 저품질 여론조사를 위한 삼박자가 모두 갖춰진 셈이다. 더불어 보이지 않는 손의 개입을 위한 삼박자도 동시에 갖췄다고 봐야 한다. 

2002년 대선 과정에서 노무현 민주당 후보와 정몽준 국민통합21 후보간 후보단일화가 이뤄진 후, 여의도 정가에서는 괴소문이 돌았다. ‘여론조사 조작’을 통해 단일 후보 선정을 조작했다는 것이다. 

소문의 내용은 이렇다. 당시 실시된 여론조사는 무작위추출법이 아니라, 여론조사에 응하는 패널을 구축해 놓고, 패널들을 상대로 여론조사를 실시했는데, 정보기관 등이 여론조사 업체에 압력을 넣어서 정 후보 지지성향의 패널을 리스트에서 조금씩 조금씩 삭제시켰다는 것이다. 

이 소문의 진위여부는 지금도 알 수 없다. 그러나 한 가지만은 확실하다. 여론조사 업체들이 ‘조작’ 시비가 불거질 수밖에 없는 방법으로 여론조사를 실시하고 있다는 사실이다. 

그리고 이렇게 신뢰하기 힘든 여론조사 결과들이 쏟아져 나옴으로써 우리 사회의 ‘신뢰도’ 또한 덩달아 하락하고 있다는 점이다. 대통령 선거 등 선거 시즌만 되면 우리 사회는 ‘여론조사 조작’ 시비에 휘말린다. 

방법은 딱 하나 뿐이다. 신뢰성을 갖춘 여론조사 결과만 공표하도록 하는 게 바로 그 방법이다.