여론조사는 정책수립에 막대한 영향을 미친다. 여론조사 결과를 얼마나 믿어야 할까? 통계학은 과학적인 여론조사가 되기 위한 요건을 설명한다. 표본추출이 특정 지역, 특정 세대, 특정 성별에 치우치지 않고 대표성을 갖도록 표본을 골고루 섞는 것은 어렵지 않다. 표본 크기가 얼마나 크면 여론조사 결과를 믿을 수 있는지 계산하기도 쉽다. 문제는 의견을 묻는 질문 방식에 있다. 여론조사의 한계는 통계학에 있지 않고 조사기관의 질문에 있다.
우리말의 조사 ‘은, 는, 이, 가’를 어떻게 쓰느냐에 따라 큰 차이가 있다. 유리창을 누가 깼는지 묻는 말에 “철수가 깼어요”와 “철수는 깼어요”라는 답변이 다르다. 김훈은 소설 <칼의 노래>의 첫 문장을 처음에는 “버려진 섬마다 꽃은 피었다.”라고 썼다가 고민 끝에 “버려진 섬마다 꽃이 피었다.”로 바꿨다. 그는 ‘꽃은 피었다’는 관찰자의 주관적인 정서를 반영한 것이고, ‘꽃이 피었다’는 객관적으로 사실을 진술한 것이라 여겼다. ‘아’ 다르고 ‘어’ 다르다처럼 같은 말이라도 어떻게 표현하느냐에 따라 상대가 다르게 받아들인다.
수학적으로 A와 B 두 점 사이의 거리는 선분 AB와 선분 BA가 같다. 수학에서는 질문의 순서가 아무런 영향이 없다. 사람의 판단을 묻는 질문은 순서에 따라 응답 결과가 달라진다. 쌍둥이처럼 닮은 부자를 보았을 때, “아들이 아버지를 쏙 빼닮았네요”라고 말하는 것은 자연스럽지만 “아버지가 아들을 쏙 빼닮았네요”라고 말하는 것은 어색하다. 대표적이고 전형적인 아버지를 기준으로 비교 대상인 아들이 아버지를 닮았다고 대답하는 것이 아들을 기준으로 아버지가 닮았다고 대답하는 것보다 더 자연스럽다.
0.1㎜의 두께를 갖는 종이를 반으로 접고, 다시 그 종이를 반으로 접는 것을 50번 하면 두께가 얼마일까? 정답은 지구와 태양 간 거리이다. 1m나 1㎞처럼 낮은 값을 추정하는 것은 0.1㎜를 기준으로 판단하여 멀리 벗어나지 못했기 때문이다. 사람들의 판단은 기준점에서 멀리 벗어나지 못하는 성향이 강하기 때문에 맨 처음 접한 것에 큰 영향을 받는다. 기업의 만족도 측정에서 응답 척도의 순서에 따라 만족도 점수가 왜곡된다. 즉, 기업의 만족도 측정에서 응답 순서를 만족한다-보통이다-불만족한다로 묻는 것과 불만족한다-보통이다-만족한다로 묻는 것에 따라 결과가 바뀐다. 만족한다를 먼저 묻는 것이 불만족한다를 먼저 묻는 것보다 더 만족하는 것으로 나타난다.
“2017년 일 년 동안 일반 도서를 1권 이상 읽은 사람의 비율이 59.9%로 나타났다”라는 신문 기사와 “2017년 일 년 동안 일반 도서를 1권도 읽지 않은 사람의 비율이 40.1%로 나타났다”라는 신문 기사는 같은 내용이지만 다른 느낌을 준다. 같은 말이라도 긍정적으로 표현하느냐 부정적으로 표현하느냐에 따라 응답 결과가 바뀐다. 실업률이 3%에서 3.5%로 늘었을 때 신문의 머리기사를 ‘0.5% 포인트 증가’와 ‘17% 증가’로 표현할 수 있다. 편집자가 뽑은 제목에 따라 독자의 반응이 바뀐다. 조사자 마음대로 특정 답변이 많이 나오도록 응답 항목을 구성할 수도 있다. 어떤 정책에 대해 매우 지지한다, 어느 정도 지지한다, 보통이다, 별로 지지하지 않는다처럼 긍정적인 항목이 많으면 응답 결과는 더 긍정적으로 나오게 된다. 여론조사 결과를 믿을 수 있다는 말은 여론조사 기관을 믿을 수 있다는 말과 같다.
