숫자와 통계자료의 신뢰도와 타당성

우리는 방송이나 신문을 통해서 숫자와 통계자료가 제시된 뉴스를 많이 접합니다. 그 수치가 어마어마하게 커서 피부에 와 닿지 않을 때도 있고, 발표된 수치가 적절하게 추정된걸까 우리는 가끔 의문을 품기도 합니다.
지난 6월 25일에 발행된 자료원 뉴스레터 17호에 실린 특집에세이인데요. 수치를 제시해야 하는 분들은 물론 뉴스를 읽고 듣는 분들도 꼭 한번은 생각해 봤으면 하는 문제를 다뤘습니다.

-------------------------------------------------------------------------------------------------------

숫자와 통계자료의 신뢰도와 타당성

김두섭 (자료원 원장 / 한양대 사회학과 교수)

우리 문화와 숫자 

태풍이 지나가거나 대형 화재가 난 직후에 신문이나 방송을 보면 신기하게도 피해액을 바로 산출해서 발표하는 경우를 보게 된다. 식목일 저녁에 텔레비전 뉴스를 보면 당일 식수가 이루어진 면적과 나무의 숫자들이 발표되곤 한다. 대규모 정치집회가 이루어져도 모인 군중수를 신통하게 바로 계산해낸다. 최근 월드컵 축구에서 한국과 아르헨티나의 경기가 있었던 날에는 162만 명이 거리응원에 동참한 것으로 다음날 아침 각종 언론매체들이 보도한바 있다. 물론 이러한 계산과 추정들이 나름대로 일정한 방법에 의해서 이루어지겠지만, 그 계산결과에 신뢰가 가지 않거나 타당성이 결여된 경우도 많은 것이 사실이다. 많은 경우 계산 자체가 조직적 또는 정확하지 않은 방법으로 이루어지거나, 추정하는 주체의 이해관계나 편의에 따라서 타당성이 크게 좌우되는 것으로 판단된다. 예를 들어, 재래시장에 대형화재가 나면 경찰이 집계하는 피해액과 상인들이 주장하는 피해규모는 열배 이상 차이를 보이는 경우도 있다.

그런데 상식적으로 별로 신뢰할 수 없는 계산이나 타당성이 낮은 추정이 이루어지더라도 대부분의 사람들이 의문을 제기하지 않고 무심히 보아 넘긴다는데 문제의 심각성이 있다. 그 계산과정의 합리성 여부를 떠나서 이러한 숫자들이 발표되고, 경우에 따라서 반복적으로 인용되면 일반 사람들은 이를 기정사실로 받아들이기 쉽다. 요즘 대중매체의 각종 기사를 보면 몇 백억, 몇 천억 원이라는 언급이 너무 쉽게 눈에 띄어, 일반 사람들은 이러한 금액의 규모에 둔감해진지 오래이다.

이와 관련하여 우리의 전통문화 자체가 숫자를 정확하게 세는 것과 거리가 있다는 주장을 하는 사람도 있다. 역사적인 기록을 살펴보면, 숫자들이 정확하게 기록되기 보다는 지극히 과장되거나 추상적인 수준의 언급이 이루어진 경우가 대부분이다. 예를 들면, 을지문덕 장군의 살수대첩에서 백만 명의 적군이 전사하였다거나, 서라벌에 백만 호가 있었다는 삼국유사의 기록도 당시의 사회여건을 감안할 때 상당히 과장된 것으로 판단된다. 통일신라시대의 서라벌에 백만 호가 있었다면 그 인구규모가 줄잡아 500만 명이 되었다는 이야기인데, 이는 상식적으로 생각해보아도 터무니없다. 이 경우에는 백만이라는 숫자를 아주 크거나 많다는 의미로 사용했다고 보아야 할 것이다. 불과 몇 십 년 전, 주머니나 지갑에 들어 있는 현금을 셀 줄 모르는 유명인사가 있었다. 이분은 남에게 돈을 건네줄 때도 대강 집어서 주었다고 한다. 대부호였던 집에서 어려서부터 돈을 정확히 세는 것을 야박하거나 경박하다고 교육받았기 때문이었다.

 

신뢰도와 타당성

사용하는 숫자와 통계자료가 얼마나 신뢰도와 타당성을 확보하고 있는가를 판단할 수 있는 능력은 이를 작성하거나 활용하고 인용하는 사람들이 갖추어야 할 기본적인 자질의 하나이다. 신뢰도와 타당성은 상호 유사한 개념으로 오해하기 쉬우나 엄밀하게 구분된다. 신뢰도는 측정의 정확성을 의미한다. 즉 같은 방법으로 측정하였을 때 동일한 결과를 만들어내는 일관성에 관한 것이다. 이에 비해 타당성은 측정하거나 설명하려는 것을 과연 의도대로 측정하거나 설명하고 있는가에 관한 것이다. 따라서 타당성은 관념적 명확성에 관련되는 것이며, 종종 측정의 조작화(operationalization)와 연계된다. 이에 따라 숫자나 통계자료로 측정하거나 설명하려는 것(타당성)이 무엇인지는 분명하지 않지만, 그럼에도 불구하고 이에 대한 측정(신뢰도)은 매우 정확하게 이루어지는 비정상적인 상황도 있을 수 있다.

홈런왕으로 국민적인 인기를 받던 야구선수 이승엽의 경제효과를 374억으로 계산하여 보도한 잡지가 있었다. 김연아의 올림픽 금메달 획득 이후 어느 방송사는 그 경제효과를 구체적인 근거를 제시함이 없이 수조원에 달한다고 보도하였다. 이들이 본격적인 스포츠마케팅 붐을 조성하는 커다란 효과를 거둔 것은 의심의 여지가 없다. 그러나 그렇다고 해서 이러한 경제효과 추정이 신뢰할 수 있게 이루어졌거나 타당성이 높다고는 보기 어렵다. ‘이승엽 또는 김연아의 경제효과’라고 이름을 붙이면 일반 사람들은 순수하게 이들에 의해서 창출된 경제적 효과를 계산한 것으로 연상하기 마련이다. 따라서 ‘홈런왕 펀드’라고 이름을 붙이거나 김연아 선수의 모습이 광고에 나왔다고 해서 해당 예탁고나 매출액을 전적으로 해당 선수에 기인하는 경제효과로 계산하는 것은 타당하지 않다. 증권회사의 펀드에 특정 선수의 이름을 붙이지 않았더라도 어느 정도의 매출은 이루어졌을 것이며, 그 선수가 아니더라도 어차피 광고는 제작되었을 것이기 때문이다.

현대인들은 각종 통계와 숫자 속에 파묻혀 산다. 어느 조직체나 개인, 국가를 막론하고 통계나 숫자에 의존하지 않고는 존립하거나 기능을 유지하기가 매우 어려운 세상이 되었다. 특히 자본주의 경제체제와 정보사회에서는 통계와 숫자를 정확하게 계산하고 적절하게 사용하는 습관과 인식이 몸에 배어야 한다. 앞으로 통계나 숫자를 작성하는 사람이나 조직, 그리고 이를 인용하는 일반인이나 언론매체들이 자료의 신뢰도와 타당성에 대해서 보다 세심하게 판단하고 점검하는 노력이 요구된다.