빅 데이터 (Big data)로 이루어진 인공지능 수학모형은 유토피아인가? #공정사회_대량살상무기 수학

빅 데이터 (Big data) 와 인공지능 (AI)의 조합은 우리에게 어떤 영향을 끼쳐왔나?

2008년 스티브 잡스가 아이폰을 들고 세상에 나온지도 10년이 지났다. 그 세상 속에서 우리는 정보화시대의 시류를 보며 살아가고 있다. 스마트폰만 켜면 알아서 내가 관심 가는 쇼핑정보를 보여주고, 좋아할 만한 콘텐츠를 알아서 보여주고, 인공지능기술과 결합하여 나보다 더 나를 잘 아는 컴퓨팅 시대에 들어선 것이다. 이런 정보는 데이터라는 소스와 컴퓨팅 능력으로 인간이 설계한 알고리즘, 더욱 정확하게는 수학적 모델을 빅 데이터 (Big data)라는 재료를 버무린 시대에 살고 있다.인공지능 시대, 빅 데이터 시대는 모두 수학적 알고리즘에 데이터 소스를 기반으로 세상을 더욱더 편리하게 해 줄 것 같은 달콤한 기술적 유토피아 시대가 오는 것일까?

 

지난 블로그 <천재도 저능적 사람도 없다. –교육제도의 폐해. 평균의 종말(1/2)>  마지막 부분에서 표준화라는 시스템이 공정한 평가를 가져온 점은 존재하지만 실제 공정성은 시대에 맞게 다른 모습으로 변장, 훼손된 상태로 효율성만 개선하였다고 했다. 지금 소개하는 책의 내용이 바로 이런 점을 지적하고 있다.

 

” 탐욕에서 비롯됐든 편견에서 나왔든, 부당함은 인류의 역사와 궤를 같이 해왔다.” 대량살상무기 수학 p.336 인용구

이 책은 빅데이터와 수학모델에 의한 인공지능 시대가 전혀 생각지도 못했던 허점, 불공평함, 불평등을 양산하여 사회에 악의적 피드백 루프 (나쁜 것은 더욱 나쁜쪽으로 순환)만 더욱 활성화한다는 강력한 경고를 담고 있다.저자 캐시 오닐은 전업 수학과 교수이자 금융분야 데이터 전문가로서 현장에서 직접 경험한 수학적 알고리즘의 폐해를 알리고 있다.  

 

수학을 이용하여 어떻게 인간적인 사회를 더욱 불평등하고 악의적으로 우리를 파괴하는지 저자는 대량살상무기 수학(WMD: Weapons of Math Destruction)라고 명명하였다. 냉정하지만 공정하고, 편견없을것 같은 수학적 모델을 이용한 모형들은 사실 인간이 가진 편견을 알고리즘 코드화한 디지털 시대의 또 다른 종류의 편견인 것이다. 이것이 위험한 이유는 자동화되고 더욱 널리 퍼지는 확장성과 이로 인한 피해가 생각보다 크다. 알고리즘이 어떻게 설계됐는지, 어떻게 이런 결과가 나오는지 보통 사람들은 점점 더 이해하기 어렵고 전문가조차 알아채기가 힘든 구조로 만들어진다. 이런 WMD (대량살상무기 수학)의 특징을 불투명성, 확장성, 피해 이 3가지 키워드로 정의하고 있다.

 

이런 것을 토대로 취업시장, 교육, 대출, 범죄, 영리학교의 등장 등 수학적 모형을 기반으로 세상의 힘없고 어려운 사람들은 더욱더 힘들어지는 악의적 피드백 루프에 빠지게 된다고 경고한다. 실제 그런 사례는 아주 많다. 2008년 세계 금융위기를 돌아보자. 집 담보 대출을 WMD(대량 살상무기 수학)를 통하여 무지하고 대출이 급한 사람들에게 더욱더 비싼 이자율과 비우량 대출을 기꺼이 알선해주고 그들을 더욱 경제적 지옥으로 급락시키고 있다. 이렇게 이들은 신용불량자가 되고, 신용불량자라는 타이틀과 아무 관계없는 취업시장에서 그들은 더욱 배척된다.

 

알고리즘은 패배자로 낙인찍힌 사람들이 언제까지나 계속 패배자로 남도록 만든다. 반면 운이 좋은 소수는 빅데이터 경제에 대한 통제력을 갈수록 확장하고 막대한 부를 축적하면서 자신은 모든 특혜를 누릴 자격이 있다고 확신한다. P.91

이런 알고리즘의 특징은 절대적으로 공평하지 않으며 심지어 해가 되기도 한다. 수학적 알고리즘은 기존의 패턴을 단순화 한 모형에 지나지 않으며 이는 뿌리 깊게 내린 인간의 편견을 알고리즘화 한 것이다. 페이스북은 절대로 친구간 우정도를 수학적으로 변형할 수 없으며, 인간의 행동, 성취도, 잠재력은 알고리즘화 한다는 것이 결코 만만한 작업이 아니다. 이를 대체하기 위해 알고리즘 설계자들은 대리 데이터를 사용하는데 즉 정량화가 불가능한 것(우정의 깊이, 성실성)등을 신용평가 신용도나, 기타 측정 가능 데이터로 대체하여 정량화한다.이런 시도는 극히 위험한 것으로 대리데이터의 잘못된 사용으로 유유상종 효과를 나타나게 되어 가난한 사람은 더욱 가난하게, 가난한 지역 사람들은 더욱 범죄속으로 유해한 피드백 루프를 활성화시키는 것이다.

 

범죄예측모형을 살펴보자. 한 도시의 범죄 예측을 위해 경찰이 있을 곳을 컴퓨터로 예측하여 순찰을 더 자주 하는 건 어떤 결과를 가져올까? 경범죄를 포함시킨 데이터 기반으로 순찰차는 더욱 가난한 동네에 집중배치되고, 이로서 경찰은 사소한 경범죄를 가난한 동네에서 더욱 많이 현장 단속하게 된다. 이러한 데이터는 계속 쌓여 가난한 동네는 더욱더 오명을 뒤집어쓰고, 교도소에 더욱 많이 가게 된다. 이로서 데이터 기반은 범죄 예측모형은 자기가 맞다는 결과를 스스로 내게 된다. 이는 가난한 동네가 더욱더 억압받는 구조로 가게 된다.

 

이제 우리의 도구가 과학적일 뿐만 아니라 공정하다는 믿음을 고수하면서 빈곤을 범죄로 취급하게 되었다. P.160

 

공정성과 효율성이 충돌하는 시대

상대적으로 법률체계는 보수적으로 작동하여 3심제 유지를 통한 효율성보다 공정성을 우선시 한다.

빅 데이터의 수학모형 알고리즘은 효율성만 향상시키고 공정성은 현격하게 떨어뜨리는 결과를 낳고있다. 가난이 범죄가 되는 시대

범죄예측모형 뿐 아니다. 교육문제, 취업문제, 대출문제, 약탈적 광고 노출 등 이러한 사실은 궁극으로 민주주의 사회를 위협하는 모형까지 나타나게 된다. 더욱 문제는 이러한 불평등한 편견을 받고도 당사자는 그 사실을 끝까지 모른다는 것이다. 내가 왜 취업시장에서 떨어졌는지, 내 능력이 아닌 컴퓨터가 분류한 엉뚱한 대리데이터 때문에 탈락하고, 더 좋은 대출 조건이 있는데 비우량 대출 광고를 맞게 되는 것이다. 이러한 유유상종효과로 불행한 사람은 더욱 불행해지는 구조를 야기시키고 빈부격차, 사회 불평등은 점점 더 벌어지게 된다.

 

정보와 부를 거머쥔 사람들은 경쟁우위를 차지하고, 그렇지 못한 사람들은 실패자가 될 가능성이 더 켜졌다. … 이렇게 볼 때, 기회로 이어지는 불평등한 경로는 전혀 새로운 것이 아니다. 단순히 새로운 옷으로 갈아입었을 뿐이다. 오늘날 사회에서 승자가 되려면 기계 문지기를 통과해야 한다. P.196

e점수 모형 (신용평가 산출 알고리즘) 개발자들은 "당신은 과거에 어떻게 행동했을까?"라는 질문이 이상적인 상황에서 엉뚱하게도 "당신같은 사람들은 과거에 어떻게 행동했을까?"라는 질문을 던진다. 이 두 질문의 차이는 엄청나다. … 그렇다면 잘못 판단해 엉뚱한 버킷으로 분류된 사람은 어떻게 될까? 쉽게 예상 할 수 있듯, 이런 실수는 매우 흔히 벌어진다. 그런데도 시스템의 실수를 정정할 수 있는 피드백은 전혀 존재하지 않는다. P.245

빅 데이터 경제의 수학모형은 인간의 편견을 코드화 했다. 교육분야 역시 예외가 아니다.

데이터 기반의 알고리즘은 결코 선량하지 않으며 결코 공정하지 않다. 오히려 효율성을 위해 공정성을 심각하게 해치고 있는 것이다. 부수적 피해, 선량한 피해자가 발생하더라도 그 효과가 입증되니 이를 계속해서 사용해야 하는 걸까? 아니다. 이는 우리 사회를 더욱 음울한 미래로 인도하는 것이다.

 

데이터 과학에 의학 알고리즘 설계 수학자들은 이런 점을 명심해야한다. 그들이 다루는 데이터는 상품이 아니라 사람을 대상으로 한다. 탐욕적 기업이 데이터 과학자를 고용하여 자신만의 이익을 위해 어떻게 사회를 파괴하는지 우리는 이 사회를 똑똑히 지켜보고 감시하고 비판해야 한다.알고리즘 설계자도 이런 점을 정확히 알고 신중에 신중을 가해야 한다.

 

데이터과학이 적용될 수 있는 곳과 없는 곳을 구분하고 때론 선의적 목적으로 만든다 하여도 이것이 과연 공정한지, 효율성을 위해 공정성을 훼손한 것은 없는지 자문하고 점검해야 한다. 물론 데이터과학 이전 시대에도 편견은 존재했다. 은행 대출 담당자가 인종에 대한 편견이나 차림새를 보고 편견에 대출을 승인하지 않을 수도 있다. 하지만 사회가 변함에 따라 이런 점은 점차 개선되어왔고 보다 객관적 수치로 보려고 개선하고 있다. 하지만 수학적 모델에 의한 대출 심사는 아예 심사 대상조차 올리지 못하게 하거나 악의적 대출에 빠지게 한다. 이는 구제할 이유도 묻지도 않고, 대출자는 왜 자기가 이렇게 되는지 이유도 모르게 나락으로 빠지게 된다. 데이터 과학은 항상 피드백을 가지고 항상 불완전함을 인지하고 항상 알고리즘을 수정 변경하면서 올바르게 수정해가야 한다. 때론 대리데이터에 의한 평가는 알고리즘에서 완전히 제외해야 할 수도 있다. (어떻게 신용점수가 낮은점과 일처리 능력이 동일시될 수 있는가? 말이 되지 않는다.)

 

책은 대부분 저자 전문성과 실제 경험에 비추어 빅데이터 수학적 모형의 인공지능에 대해 비판적으로 다루었지만 완전 폐기는 시대적 흐름상 돌이킬 수 없다는 걸 잘 알고 있다.이에 대한 저자의 생각을 책을 통해 자세히 살펴보자.

 

도덕적 상상력이 필요하다. 데이터 처리과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다. 우리의 윤리적 지표를 따르는 빅데이터 모형을 창조해야 한다. 그렇게 하려면 가끔은 이익보다 공정성을 우선시해야 한다.P.337

이런 모형도 좋은 의도에서 개발되겠지만 그러나 좋은 의도만으로는 충분하지 않다. 모형의 입출력물, 즉 모형에 입력되는 데이터와 모형이 생산한 결과를 공개함으로써 투명성을 확보해야 한다. 감사도 받아야 한다. 모형은 강력한 힘을 가졌기에 경계의 담장을 낮추어서는 절대 안된다.

대량살상무기 수학. 어떻게 빅 데이터는 불평등을 확산하고 민주주의를 위협하는가. 캐시 오닐 지음. 2017

책의 구성 (목차)  

1장) 대량살상수학무기의 탄생 (빅데이터, 알고리즘이 신을 대체하다).

수학을 통해 만들어진 모형은 설계자의 지극히 개인적 의견을 반영한 것임을 소개하며 대량상살무기 수학의 3가지 요소인 (1)불투명성, (2)확장성, (3)피해에 대해 말한다.

 

2장) 금융과 수학의 결탁이 불러온 파국.

2008년 금융위기를 예시로 금융과 수학적 모델이 어떻게 사람들을 망하게 했는지 추적한다.

 

3장) 군비경쟁. 데이터의 포로가 된 학교와 학생들

빅데이터와 수학모델은 어떻게 교육을 망치는지 추적한다. 빅데이터와 수학적 모델로 인한 학생, 학보모, 진학담당 교사들까지 불투명한 빅데이터와 수학적 모델의 희생자가 되고 교육 컨설턴트라는 이상한 직종까지 생겼다.

 

4장) 선동도구. 알고리즘은 당신이 한 일을 알고있다.

대출광고가 빅데이터를 만나 약탈적 광고를 뿌려 취약한 계층만 더욱 옥죄이는지 추적한다.

 

5장) 무고한 희생자들. 가난이 범죄가 되는 미래

범죄예측 소프트웨어의 사례로 가난한 동네사람들이 어떻게 더욱 가난하게 되고, 더욱 범죄에 빠져들게 하는지 추척한다.

 

6장) 디지털 골상학. 당신은 우리가 원하는 직원이 아닙니다.

인간에게 지원자를 차별하는 법을 배운 컴퓨터는 더욱 기가 막히게 효율적으로 차별적 빠른 심사를 하게 된다. 

 

7장) 일정의 노예. 알고리즘의 노예가 된 노동자

일정관리 수학모형으로 모두의 이익이 아닌 효율성과 수익성에 최적화시켜 노동자들을 더욱 옥죄인다.

 

8장) 부수적 피해. 모든 길은 신용평가 점수로 이어진다.

“당신은”과 “당신 같은 사람들” 이 두 단어의 차이는 사람들을 어떻게 더욱 악순환의 고리에 빠져들게 하는지 추적한다.

 

9장) 안전지대는 없다. 선의에 감춰진 보험의 민낯

빅데이터와 수학적 알고리즘에 의한 인공지능이 만나 사람들을 행동적 부족으로 분류하고 차별하게 된다. 또한 자신이 어떤 유형에 의해 분류되는지 그 이유조차 모르고 살아가게 되며 인공지능의 거의 모든 변수는 미스터리로 남게된다. 만약 인간이 통제수단을 되찾지 못한다면?

 

10장) 표적이 된 시민들. 민주주의를 위협하는 빅 데이터

마이크로 타겟팅으로 자신과 자신의 이웃에게 제공되는 정보가 개인화되고 유권자들을 점수화하는 폐해를 낳는다. 여러 집단이 손을 잡고 힘을 합치는 것을 막고 유권자가 중심이 아닌 어떻게 조연으로 되어 민주주의를 손상시키는지 추적한다.