2016년 10월, 전 미국 대통령 버락 오바마는 『와이어드』 지와의 인터뷰에서 ‘AI가 인간의 이해력을 앞지를 가능성’에 대처하는 방법에 대해 농담을 던졌습니다.

“전원코드 근처에 누군가를 두면 해결됩니다.

그런 일이 일어나려는 순간, 벽에서 전원코드를 뽑아버리면 되죠.”

 사진. 『와이어드』 지와 인터뷰하는 전 미국 대통령 버락 오바마

(사진 출처: 와이어드 / https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/)

다른 농담들과 마찬가지로, 어이없으면서도 사실을 드러내는 농담이기도 해서 재미있었죠. 그런데 우리의 필수 인프라를 위한 지능형 에이전트를 끄는 방법이 있을까요?

이것은 진짜 문제입니다.

스팸 필터링, 사기 탐지, 콘텐츠 추천 기능이 없다면 대부분의 웹은 제 기능을 못 할 것이며, 개인화된 광고가 없다면 기업은 자금을 조달하지 못할 수도 있습니다. 인공지능이 비용 조달을 위한 핵심적 역할을 하기도 합니다. 이처럼 우리가 인공지능에 의존하는 인프라를 이용하는 만큼, 인공지능이 주는 이득과 우리가 치러야 하는 대가는 동시에 존재할 수 밖에 없습니다. 이에 대해 컴퓨터 과학자들은 알고리즘의 관점에서 생각하지만, 현재 인공지능과 우리의 관계는 비즈니스 모델과 법적, 정치적 문제가 상호작용하는 사회 기술적인 문제입니다.

이 문제를 해결하기 위해 과거로 돌아가자는 제안은 현실적이지 않습니다. 이미 단계적으로 효율성이 떨어지는 이전 인프라를 퇴출하기도 했고, 이러한 시도를 하는 사람이 있다면 같은 선택을 하지 않는 다른 사람들과 경쟁해야 하는 현실에 맞닥뜨릴 것이기 때문입니다. 우리는 인공지능 없이 살 수 없습니다. 그렇다면 우리가 정한 조건대로 인공지능과 함께 살아갈 방법을 배워야 합니다. 이제 우리가 나아갈 길은 '신뢰'의 문제와 정면으로 마주하는 것입니다. 

지능형 기계와 함께 살아가기

자동화의 목적은 인간을 대체하는 것입니다. 인공지능의 목적도 크게 다르지 않습니다. 이를 통해 개인, 조직, 사회 전체의 생산성을 향상할 수 있죠. 이러한 사실이 기술에 접근할 수 있는 사람들에게는 큰 힘이 되지만, 대체된 노동자들이나 동일한 자원에 접근할 수 없는 경쟁자들에게는 문제가 됩니다.

예를 들어 운송, 번역, 의료 진단에 대한 비용을 절감해 인공지능의 혜택을 누리게 될 부분은 디지털 경제만이 아닌 더 넓은 분야의 경제입니다. 그러나 동일한 기술이 어떤 사회적 가치를 훼손할 수도 있습니다. 거리 CCTV를 통한 대중 감시나, 심리측정 마이크로타기팅을 통한 대중 설득이 가능해지는 경우가 그렇죠. 또한 오작동을 일으키거나 예상치 못한 부작용이 발생하는 경우에도 해로운 효과가 발생할 수 있습니다. 심지어 시장, 여론, 기타 공공재를 불안정하게 만들 수도 있고, 인공지능이나 그 데이터를 통제하는 자들에 대한 부의 집중을 가속화할 수도 있습니다. 우리가 상상하고 싶지 않은 방식으로 군사용 목적 응용기술에 사용될 수도 있겠죠. 

대중이 이 기술을 신뢰하게 되기 전에 정부는 해당 기술의 여러 측면을 규제해야 합니다. 그리고 우리는 이미 발생했던 아슬아슬한 순간들과 오경보에 대한 이전의 사례에서, 그리고 언론에서 표현한 우려나 실제 피해에 대한 이야기에서 많은 교훈을 얻을 수 있습니다. 

특히 '책임성'과 '감사 가능성'이라는 두 가지 핵심 요소는 이러한 환경을 형성하는 데 도움이 될 테죠. 인공지능 시스템의 효과에 대해 누가 책임질 지 결정하는 것은 아주 중요한 단계입니다. 이때 우리는 ‘인공지능 시스템의 효과에 대해 책임져야 하는 사람은 운영자일까? 제작자일까? 아니면 사용자일까?’와 같은 질문에 대한 답을 생각해 볼 수 있죠. 그리고 이는 두 번째 요소인 '감사 가능성'으로 연결됩니다. '설계도에 의해서조차 감사하는 것이 불가능한 시스템을 신뢰할 수 있을까?'에 대한 답을 이어서 생각해야 합니다. 이 부분에 대한 규제가 더 진행되려면 우선 인공지능 에이전트가 감사 가능해야 하며, 그 부담은 제작자나 운영자가 져야 한다는 규칙을 확립하는 것에서 출발해야 할 것입니다. 이를 먼저 확립한다면 에이전트에 대한 검사를 통해서만 확인할 수 있는 안전성, 공정성, 그 외 모든 속성들에 대해 논의할 수 있을 것입니다.

(.....)

이때 인공지능을 설계상 본질적으로 감사 가능하게 만들어 제3자가 안전성을 검증할 수 있게 하는 의무를 둔다고 해서 반드시 코드 공개가 필요한 것은 아니지만, 내부 모델이 본질적으로 ‘설명불가능’이라고 선언하거나 일반적인 법적 면책 조항으로 대체함으로써 이 규제를 회피할 수 있도록 해서는 안 됩니다.

이 규제를 적용하는 과정에서 과학이 새롭게 발전할 수도 있겠지만, 인공지능 시스템은 검사에 적합해야 하고 그 운영자는 책임을 지우기에 적합해야 합니다. 비록 인공지능에는 현재의 인공지능을 만들기 위해 택했던 기술적 치트키 탓에 이러한 특징을 기대할 수 없지만 말입니다. 따라서 이 규제에는 시스템 내 체크포인트의 의무 도입, 극단적인 조건에서의 결과를 평가하기 위한 정기적 표준 스트레스 테스트 실행, 아직 존재하지 않는 과학인 기계에 대한 일종의 ‘심리측정학’ 개발이 포함되어야 할 수도 있습니다.

'신뢰'는 맹목적인 믿음이 아닙니다. 에이전트가 소프트웨어든, 사람이든, 조직이든 간에, 그 에이전트의 능력과 선함에 대한 합리적인 믿음이어야 하죠. 현재로서는 명확한 책임성이야말로 신뢰를 보장하는 방법입니다.

이를 바탕으로 안전성, 공정성, 투명성, 개인정보보호, 존중과 같은 다른 문제들을 해결해야 합니다. 모든 사용자는 인공지능 에이전트와의 상호작용에서 다음과 같은 내용을 기대할 수 있어야 합니다.

• 안전성^safety: 실패 또는 의도하지 않은 부작용으로 해를 끼치지 않을 것
• 존중^respect: 넛지, 조작, 기만, 설득 또는 조종을 시도하지 않을 것
• 투명성^transparency: 목표와 동기, 이를 추구하기 위해 사용하는 정보를 공개할 것
• 공정성^fairness: 주요 영역에서 결정을 내릴 때 사용자들을 동등하게 대우할 것
• 개인정보보호^privacy: 개인정보 주체의 개인정보 통제권을 존중할것

다시 말해, 사용자는 에이전트의 행동 뒤에 숨은 동기나 에이전트 사용으로 인해 발생할 수 있는 예상치 못한 결과에 대해 걱정할 필요가 없어야 하는 것 입니다. 예를 들어 미성년자에게 중독이나 기타 나쁜 영향을 끼치는 추천 시스템이 있다면 그것은 안전하지 않을 수 있으므로 기능을 끄거나, 거부할 수 있는 옵션과 함께 제공되어야 할 것 입니다. 또한 사용자의 위치, 검색 기록 등이 '개인 맞춤 추천' 등의 작업을 위해 사용될 수 있는지 알기 어려워서는 안되며, 사용자가 처음부터 이를 분명히 인식하고 공개적으로 동의해야 합니다. 그리고 사용자는 불이익 없이 그 일부를 거부할 수 있어야 합니다. 

신뢰에 있어 진정으로 필요한 작업은 소프트웨어엔지니어링 관련 문제가 아니라, 이러한 소프트웨어가 사회 및 개인의 심리와 어떻게 상호작용하는지를 이해하는 것이죠. 이러한 상호작용의 접점에서 어떤 유형의 공정성을 기대해야 할지, 그리고 기계에서 어떤 종류의 설명을 기대해야 할지, 또 이를 어떻게 평가해야 할지 종합적으로 결정하게 될 것입니다. 

(...)

현재 규제안에는 많은 질문이 해결되지 않은 채 남아 있습니다. 수많은 인공지능 적용 기술의 실제 위험이 무엇인지, 그리고 어떤 해결책이 효과가 있을지 파악하는 데는 많은 시간이 필요하겠지만, 지금 바로 이러한 부분을 규제하기 시작하는 것이 바람직할 것입니다.

이 글은 『기계의 반칙』 내용을 재구성하여 작성하였습니다.

인간은 인공지능을 창조했고 이미 우리 삶의 일부가 되었습니다. 정확히 우리가 기대했던 피조물이 아닐 수도 있지만 우리가 원했던 많은 일을, 때로는 그보다 더한 일을 다른 방식으로 해내죠. 인간이 만든 지능형 에이전트의 지능을 고찰할 때는 인간보다는 정원의 달팽이처럼 인간과 거리가 멀고 단순한 동물과 비교하는 편이 더 나을 수 있습니다. 이들이 '생각하는' 방식이 인간과 완전히 이질적이기 때문이죠. 그럼에도 불구하고 이들은 어떤 상황에서는 인간보다 더 강력할 수 있습니다.

그러나 이것은 현재 인공지능 분야에서 발생하고 있는 오남용 및 규제 등의 문제를 해결해야 하는 인간이 처한 딜레마의 원인이기도 합니다. 우리는 어떻게 하면 지금과 같은 인공지능 시대에서 지능형 기계와 공존할 수 있을까요?

현대 인공지능 기계의 특성, 문제 그리고 이를 해결할 방법에 대한 아이디어는 『기계의 반칙』 에서 확인할 수 있습니다.

『기계의 반칙』