ARS조사는 일반적인 의미의 전화여론조사가 아니다
응답의 신뢰성과 대표성을 확인할 수 없는 공인되지 않은 조사방식

지난 2006년 지방선거에서 두드러지게 나타나는 특징 중의 하나는 여론조사 없는 선거를 상상하기 어려울 정도로 여론조사 결과가 다양한 방식으로 선거 과정에 영향을 미쳤다는 점이다. 각 당의 후보 경선에 여론조사 결과를 반영하는가 하면 다양한 여론조사 기법들을 동원하여 거의 매주 여론조사결과를 발표하는 기관도 등장했다. 

여론조사 비용이 적지 않다는 점을 감안하면 그 만큼 일반국민들의 여론조사 결과에 대한 높은 관심을 반영하는 것으로 보인다. 이처럼 여론조사에 대한 관심이 높아지고 여론조사가 선거에 미치는 영향력이 강화되고 있는 데에는 무엇보다 지난 2002년 대선에서 노무현 후보와 정몽준 후보가 후보단일화를 이루는 방식으로 여론조사방법을 택했던 것이 주요한 계기였던 것으로 기억된다. 이는 사실 세계적으로도 유례없는 일이다. 이렇듯 여론조사가 국민들의 알권리를 충족시키는 차원을 넘어 후보 선정의 기준으로까지 인식되는 것은 세계에서 그 유례를 찾기 힘든 일이다.

그러나 여론조사가 국민들의 태도와 선호를 파악하는 데 가장 유력한 수단임에는 분명하지만, 여론조사가 엄밀한 표본추출과정과 체계적인 조사 디자인에 기초하지 못할 경우 실제 여론을 크게 왜곡할 수 있다는 점은 간과되어서는 안된다.(물론 아무리 정교하고 체계적인 조사 디자인이라 하더라도 이는 확률적으로 참값에 근사하다는 의미이지 오차의 발생을 근본적으로 막을 방법은 없다. 문제는 조사방법론의 원칙에 맞게 조사를 할수록 오차발생의 확률을 크게 줄일 수 있다는 것이다). 그  결과 유권자의 인식을 오염시키고 결과적으로 민의와 동떨어진 선거결과를 가져올 수도 있기 때문이다.

그 중에서도 ARS(automated response survey)조사방법의 문제점에 주목할 필요가 있다. ARS조사는 조사면접원 없이 자동으로 녹음된 조사질문에 대해 응답자가 전화기 보턴으로 응답을 하는 방식으로 진행하는 조사로서 별도의 면접원이 필요없기 때문에 일반여론조사에 비해 그 비용이 크게 절감되는 장점이 있다.

그러나 ARS조사는 대체적인 여론의 경향성을 파악하기 위해 참조하는 자료로서 유용할 수 있어도 일부샘플을 가지고 전체 국민여론을 추정 및 추론하는 조사기법으로는 근본적인 한계가 있다.

첫째, 면접원이 없이 녹음된 질문에 응답자 스스로 답을 하게 되면서 응답자료의 신뢰성 을 검증할 방법이 없다. 최소한의 정보확인(번호를 통해 남자라고 응답했는데 진짜 남자인지, 심지어 집안의 어린아이가 장난 응답을 해도 이를 가려낼 수 없다)이 어렵고 면접원이 없는 조건에서는 허위응답(가령 귀찮아서 1111 혹은 1234... 식으로 질문에 상관없이 대답하는 경향)의 가능성이 커질 수 있다. 문제는 이를 확인할 방법이 전무하다는 것이다. 현재 대부분의 여론조사 샘플링이 전국인구센서스결과에 근거하여 성별, 연령, 지역 3개 변수의 인구구성비를 산출하고 이 비율에 맞게 샘플을 구성하고 있다. 지역이나 전화조사번호로 확인이 가능하지만, 성과 연령의 경우 조사과정을 통해 확인해야 한다. ARS조사에서 성과 연령에 대한 답변을 응답자에게 맡겨둔다는 것은 조사결과 이전에 조사샘플 및 조사 자료의 신뢰성을 검증한 최소한의 안전장치도 없는 조사방법이라는 것을 의미한다.  

둘째, 샘플의 대표성에도 문제가 발생한다. 천명 남짓의 샘플을 가지고 수천만명 전체 국민의 여론이라고 추론 혹은 추정하기 위해서는 이 선정된 천명의 샘플이 전체 국민의 여론분포를 대표(represent)할 수 있어야 한다. 이러한 대표성을 확보하는 가장 기본적인 방법인 임의표집(random sampling)하는 방법이다. 즉 특정집단의 사람이나 특정여론이 과다대표되거나 과소대표될 경우 소위 응답결과에 편의(bias)가 발생하게 되고, 이 자료들은 표본추출이 잘 된 조사에 비해 전체 여론을 왜곡할 가능성이 커지게 되는 것이다. 

ARS조사의 경우 면접원의 안내설명이나 추가 질문과정 없이도 조사에 응할 정도의 응답자라면 이미 상당한 정치적 관심과 의도(자신의 의견을 여론조사에 반영하겠다는 등의)를 가진 사람일 가능성이 크다. 일년전 쯤 국내 모 ARS조사담당자가 언론을 통해 조사결과를 보고하면서 특정계층의 응답이 과다대표되고 있다고 인정한 적이 있다. 당시 반정부 여론이 높던 시점에서 보수층일수록 여론조사에 적극적으로 참여하던 경향이 반영된 결과로 볼 수 있다.  

셋째, 2006년 지방선거 당시 언론에 보도된 여론조사 결과를 간단히 확인해봐도 ARS조사결과가 일반적인 조사결과와 다른 사례들을 쉽게 확인할 수 있다. ([그림1]과 [그림2]를 참조하시오.)

물론 ARS 이외의 조사방법은 문제가 없느냐 하면 그렇지는 않다. 심지어 때로는 ARS 조사결과가 일반전화조사나 면접조사보다도 정확하게 선거결과를 예측했다는 보도도 나오고 있다. 그러나 기타 일반조사방법들의 경우도 본인이 작심하고 하는 허위응답을 잡아낼 수는 없지만 최소한 샘플링 과정에서 중요한 선행변수들 성별, 연령대 등에 대해서는 면접원의 면접과정에서 그 진위를 확인할 수 있다. 그러나 ARS조사는 이조차도 원천적으로 확인 불가능하다. 전화면접이나 대면면접의 경우 사후 확인 검증 절차가 가능하다. 그러나  ARS조사의 경우 사후검증 자체가 원천적으로 불가능하다고 볼 수 있다.

이러한 문제 때문에 ARS조사는 여론추정 및 추론의 방법으로 적합하지 않다는 것이 학계의 일반적인 결론이다.1) 동아시아연구원이 참여했던 국제여론조사 경험을 비추어 볼 때 국제조사에서 허용하는 조사방법으로는 (1) 일대일 개별 면접법 (2) 면접원에 의한 전화조사를 활용하고 있으며 비용문제로 불가피할 경우 (3) 10만명 전후의 대규모 패널(Major Panel) 구축하여 선정된 패널들에게 조사기기를 지급한다는 전제로 실시되는 인터넷 조사(미국) 정도가 활용되고 있다.