AI가 모든 것을 믿으면 안 되는 이유 |

인공지능은 이미지 속의 물체나 중얼거리는 단어를 정확하게 식별하고 인지할 수 있지만 그 알고리즘은 사람과 달라 사람이 속지 않는 방식으로 속이는 것이 가능하다.

이스라엘의 바일란 대학과 페이스북 AI 팀은 조금 변조된 오디오 파일을 통해 사람은 정상적으로 인지할 수 있지만 AI는 완전히 다른 것을 듣게 된다는 것을 보여주었다. 사운드 클립에 뚜렷한 패턴을 담고 있는 조용한 소음층을 추가한 이 방법을 쓰면 AI는 다른 단어와 관련된 것으로 인지했다.

연구팀은 후디니(Houdini)라고 불리는 새로운 알고리즘을 일련의 사운드 클립에 적용하였고 구글 보이스를 통해 테스트했다. 그 사운드 클립의 한 예는 다음과 같다.

"왁스 불빛과 은촛대를 든 두 명의 하녀를 앞세우고 아들의 손을 잡아 이끄는 그녀의 태도는 우아하고 생동감이 넘쳤다."

구글 보이스가 인식한 이 문장의 원본은 다음과 같다.

"베어링은 우아하게 움직여서 그녀는 아들을 손으로 보냈고, 걷고 있는 그 앞에서 두 명의 하녀는 왁스 불빛과 은촛대를 들고 있었다."

하지만 사람이 듣기엔 원본과 다를 것 없는 변조된 음성을 입력한 결과는 다음과 같다.

"메리는 감사했고 이어 난로 필터를 6개로 자르는 메이스에게 걷기 전에 아들을 인정했다."

이 연구팀의 결과는 다른 머신러닝 알고리즘에도 적용할 수 있다. 사람의 이미지를 변조하면 AI는 혼동을 일으켜 서있는 자세를 다르게 구분했다. 도로 사진에 노이즈를 추가하면 자율주행 차량에 주로 사용되는 알고리즘은 도로 표지판을 영화 캐릭터로 인지했다. 이 결과는 작년에 오픈AI와 구글 브레인을 이용한 연구와 유사한 결과를 보여준 것이다.

대립 사례라고 불리는 이 예들은 이상한 연구 분야처럼 보이지만 머신러닝 알고리즘의 부하 테스트에 사용될 수 있다. 하지만 더 걱정스러운 것은 AI를 속여 실재하지 않는 것을 인지하도록 할 수 있다는 것이다. 예를 들면, 자율 주행차량이 도로상의 허위 주행차량을 보거나 스마트 스피커가 가짜 명령을 듣게 되는 일이 발생할 수 있다. 물론 이런 공격용 노이즈를 추가하는 것은 실험실과 달리 실생활에서는 까다롭기 때문에 쉽지는 않다.

그러나 이런 종류의 속임수로부터 AI를 보호하는 방법을 찾는 것은 매우 어려울 수 있다는 것은 흥미롭다. 심층 신경망 내부에서 어떻게 결정이 이루어지는지 모르기 때문에 왜 이처럼 음성과 이미지의 미묘한 차이에서 다른 인식이 발생하는지도 알지 못한다. 그때까지 이처럼 대립적인 사례는 여전히 남아 있을 것이고 모든 AI가 완전하지 못할 것이다.

 

관련연구자:

관련기관:

과학기술분류: 인지/감성과학

본문키워드(한글): 인공지능,머신러닝,대립사례

본문키워드(영문): AI,artificial intelligence,machine learning,adversarial examples

원문언어: 영어

국가: 미국

원문출판일: 2017-07-28

※ 출처: https://www.technologyreview.com/s/608381/ai-shouldnt-believe-everything-it-hears/