민심 헷갈리게 하는 ‘들쭉날쭉’ 여론조사의 비밀 해부
4·11 총선 출구조사 등 현실과 딴판인 결과 수두룩
대선후보 지지도, 조사기관마다 결과 엇갈려 불신
선거철이면 여론조사업계는 호황을 누린다. 쏟아지는 주문에 즐거운 비명을 지른다. 여론조사의 영향력은 막대하다. 후보 간 희비를 가르고 유권자 선택에 영향을 끼친다. 그런 만큼 조사방법은 과학적이고 결과는 믿을 만해야 한다. 그러나 현실은 딴판이다. 여론조사는 ‘들쭉날쭉’이다. 여론조사 기관마다 결과가 다른 경우가 숱하다. 정확성도 떨어진다. 결과적으로 틀리기 일쑤다. 왜 그런가. 여론조사 내용과 방법을 뜯어보면 알 수 있다. 여론조사가 전체 표심을 정확히 읽어낼 것이라고 기대하는 것은 애당초 무리인지 모른다.
표본추출·조사방법·문항 따라 결과 천양지차, 흐름만 읽어야
조사기관들 ‘낮은 응답률’ 감춰 ‘표심 왜곡’ 현상 나타나기도
여론조사가 틀린 경우는 허다하다. 지난 4·11 총선에서도 그랬다. 지상파 방송 3사가 70억 원이나 들여 실시한 출구조사조차 틀렸다. 제1당조차 맞추지 못했다. 5년 주기로 펼쳐지는 대선판에서도 마찬가지다. 여론조사는 들쭉날쭉이다. 같은 날 조사한 것인데도 기관에 따라 정반대 결과가 나온다.
지난 13∼15일 실시된 리서치앤리서치(R&R) 여론조사와 15∼16일 실시된 리얼미터 여론조사를 보자. 결과가 정반대다. 대선후보 양자대결 지지율에서 R&R 조사 결과는 박근혜 47.0% VS 안철수 45.5%, 박근혜 47.6% VS 문재인 44.1%였다. 새누리당 박근혜 후보가 민주통합당 문재인, 무소속 안철수 후보를 모두 앞섰다.
믿음 못 주는 조사 결과
리얼미터 조사 결과는 반대다. 박근혜 43.6% VS 안철수 49.9%, 박근혜 48.2% VS 문재인 44.5%였다. 박근혜, 안철수 양자대결의 결과가 반대로 나온 것이다. 이 경우 어느 쪽을 신뢰할 수 있는 것인가. 결론은 둘 다 틀리다고 할 수도, 맞다고 할 수도 없다는 것이다. 남는 것은 여론조사에 대한 불신이다. 결과가 들쭉날쭉인 상황에서는 여론조사가 표심을 정확히 반영한다고 믿기 어려울 수밖에 없다.
현실적 측면에서 여론조사 결과가 제각각인 것은 자연스럽다. 조사방법, 질문방식에 따라 결과는 전혀 다르게 나올 수 있기 때문이다. 심지어 조사표본과 기법이 비슷한데도 결과가 반대로 나오는 경우도 있다. 그만큼 여론조사는 예민한 작업이다. 미세한 변수로도 결과가 달라진다. 한국갤럽과 리서치뷰, 두 기관의 지난 12일 조사 결과가 그런 경우다. 한국갤럽 조사에서는 박근혜, 안철수 후보 양자대결에서 두 후보가 같은 지지율을 보였다. 그러나 리서치뷰 조사에서는 안 후보가 박 후보를 8.0%포인트 앞섰다. 박근혜, 문재인 후보 양자대결에서도 결과가 반대로 나왔다. 한국갤럽 조사에서는 박 후보가 3%포인트 앞섰으나 리서치뷰 조사에서는 문 후보가 4.1%포인트 앞섰다.
두 기관 모두 휴대폰 사용자 900여 명에서 1000명을 대상으로 했다. 똑같이 RDD(Random Digit Dialing)방식, 즉 임의전화걸기로 조사했다. 그런데도 결과가 이렇게 달랐다. 엇갈리는 여론조사 결과는 지금껏 수두룩했고 앞으로도 그럴 것이다.
미세한 변수로도 결과는 정반대
예컨대 표본을 지역별 유권자 비율, 연령별 유권자 비율에 맞춰 정확히 뽑았다고 치자. 그걸로 다 된 것이 아니다. 응답을 받아내야 하는데 여기에서 왜곡이 생긴다. 전화를 받아도 설문에 응하지 않는 경우가 허다하다. 유권자 비율이 지역별, 연령별로 정확히 들어맞는 조사가 이뤄지기 어렵다. 이 경우 응답률이 떨어지는 유권자 층에 가중치를 곱하게 되는데 엄밀히 보면 이는 표심의 왜곡이다. 어디 응답률뿐인가. 여론조사의 정확성을 떨어뜨리는 현실적 제약요인들이 수두룩하다.
△휴대폰이냐, 집전화냐=2010년까지만 해도 여론조사는 거의 전화번호부에 등재된 ‘집전화’를 대상으로 했다. 달라진 통신환경을 감안할 때 시작부터 표본의 대표성에 문제가 있었던 것이다. 조사 결과가 애당초 표심을 제대로 반영할 수 없었던 것이다. 집전화라고 전부 표본 대상이 될 수 있었던 것도 아니었다. 업계 추정치로 집전화를 쓰는 인구는 전체의 80%이다. 이 가운데 전화번호부에 등재한 가구는 30%, 나머지 50%가 비등재 가구라고 한다. 집전화 없이 휴대폰만 쓰는 경우도 20%에 달한다. 2010년 지방선거에서 여론조사가 크게 빗나간 배경이다.
이후 달라지기는 했다. 여론조사기관들은 비등재 집전화까지 표본에 포함시키기 시작했다. 이때 새로 등장한 기법이 RDD방식, 즉 임의전화걸기 방식이다. 전화번호부를 놓고 고르는 게 아니라 컴퓨터가 무작위로 전화번호를 생성해 전화를 거는 방식이다. 전화번호부에 등재되지 않은 가구까지 조사가 가능해진 것이다. 이어 조사기관들은 RDD 대상에 휴대폰 이용자까지 포함시켰다.
조사대상 표본이 어떤 통신기기를 쓰느냐에 따라 조사 결과는 달라질 수 있다. 특히 집전화와 휴대폰 조사의 차이는 크다. 예컨대 집전화를 쓰는 사람들의 경우 고령층, 저학력·저소득층이 많다. 이들은 대체로 보수 성향을 띤다. 휴대폰만 이용하는 이들은 대체로 젊은 층이다. 이들은 상대적으로 진보 성향을 띤다. 따라서 표본 추출시 전화번호부 등재 집전화 가구, 등재되지 않은 집전화 가구, 휴대폰만 이용하는 가구를 어떤 비율로 혼합하느냐는 매우 중요한 변수다. 어느 한쪽으로 치우칠 경우 모자란 쪽에 가중치를 준다 해도 표심을 제대로 읽는 것은 애당초 불가능하다.
△ARS냐 전화면접이냐=조사를 전화면접으로 하느냐, 자동응답전화(ARS)로 하느냐도 큰 변수다. ARS는 녹음된 질문을 듣고 답하는 방식이다. 사람과 직접 통화하는 게 아닌 만큼 응답률이 현저히 떨어진다. 전화면접의 경우 응답률이 15∼20%인 데 비해 ARS는 5∼6% 수준이거나 그 미만인 경우가 허다하다는 것이다. 무작위로 100명에게 전화를 돌렸을 때 답변하는 사람이 고작 대여섯 명 정도라는 얘기다. 이렇게 낮은 응답률의 조사 결과를 얼마나 믿을 수 있는가. 답변한 5∼6명은 답변하지 않은 94∼95명의 표심을 얼마나 대표하는가. 원론적으로 볼 때 이처럼 낮은 응답률의 여론조사는 여론조사로 볼 수 없다는 게 통계학자들의 지적이다.
이처럼 여론조사에서 응답률은 중요하다. 공직선거법이 여론조사 결과를 공표하거나 보도할 때 응답률을 공개토록 한 데는 이유가 있는 것이다. 그러나 이 규정은 지켜지는 경우가 거의 없다. 낮은 응답률을 굳이 드러내지 않으려는 심리가 작동하는 것이다.
여론조사기관의 항변은 있다. “응답자들과 당일 투표장에 가는 사람들 특성이 비슷하고, 그래서 예측엔 큰 무리가 없다”는 것이다. 투표율이 낮을수록 개연성은 있다. 응답에 적극적인 이들이 투표에도 참여할 가능성이 크기 때문이다. 그러나 투표율이 높은 대선의 경우는 더욱 설득력이 떨어지는 얘기다.
△선호도냐 지지도냐=‘어떻게 묻느냐’도 큰 변수다. 2007년 한나라당 대선후보 경선 때 이명박, 박근혜 후보가 대립했던 것도 이 때문이다. 당시 두 후보는 여론조사 문항 설계를 놓고 논란을 빚었다. 이명박 후보 측은 ‘차기 대통령 후보로 누구를 더 선호하느냐’는 선호도 방식을, 박근혜 후보 측은 ‘내일 투표를 한다면 누구를 지지하겠느냐’는 지지도 방식을 주장했다. 단단한 지지층을 가진 박 후보 측은 지지도 방식을, 지지층 저변이 넓은 이 후보 측은 선호도 방식을 주장한 것이다. 당시 문항의 차이에 따라 지지율 격차가 3%포인트에서 10%포인트나 나는 것으로 분석됐다.
흐름 읽는 참고자료일 뿐
여론조사의 정확성을 떨어뜨리는 변수들은 이밖에도 많다. 어떤 성향의 여론조사기관이냐에 따라 응답자가 답변을 달리하게 되기도 한다. 휴일에 하느냐, 평일에 하느냐, 오전이냐, 오후냐에 따라 편차가 나타나기도 한다. 이런 이유로 전문가들은 특정시점의 여론조사 결과에 큰 의미를 두지 말라고 말한다. 변화의 추이를 보라는 것이다.
현재 빅3 지지율은 3자대결에서 박근혜 30%대 중반, 안철수 20%대 후반, 문재인 20%대 초중반의 흐름을 보이고 있다. 양자 대결로는 오차범위 내에서 엎치락뒤치락하는 양상이다. 여론조사의 정확성을 과신하기 어려운 상황이다. 박빙의 승부가 펼쳐질 때 여론조사로 잡아내지 못하는 ‘숨은 표’는 결과를 정반대로 뒤집을 수도 있는 것이다. 10년 전 이맘때 이회창 한나라당 후보가 30%대, 정몽준 국민통합21 후보는 20%대 중반, 노무현 열린우리당 후보가 10%대 후반의 지지율을 보였으나 대통령은 결국 노 후보가 되지 않았던가.