※ 이 칼럼은 필자의 주관적인 견해이며, KISEC의 교육 방향과 다를 수 있습니다.
이번 포스팅은 "AI 보안"이라는 주제를 다뤄보고자 합니다. 공격자들은 지능적으로 발전하고 있으며 우리들은 그들의 공격을 탐지하고 방어해야 합니다. AI 기술이 발전함에 따라 공격자들도 AI를 활용한 다양한 공격을 시도할 것입니다.
앞으로는 AI와 AI의 싸움이 될 것이라고 생각하기 때문에 AI 보안이라는 분야에 대해서 연구하기에 앞서 다양한 정보 수집을 할 내용을 바탕으로 칼럼을 작성하고자 합니다.
해당 칼럼은 총 3부로 제작할 계획이며, 각 주제는 다음과 같습니다.
- 제 1부 - 왜 우리는 AI 보안에 관심을 가져야 할까?
- 제 2부 - AI를 활용한 공격은 무엇이 있을까?
- 제 3부 - AI 공격을 방어할 수 있는 방법은 무엇일까?
제 1부에서는 Gartner(가트너)에서 처음 만든 Hype Cycle(하이프 싸이클)이라는 개념을 기반으로 AI보안의 필요성에 대해 소개합니다.
가트너는 미국의 정보기술 자문회사로, IT 기술에 대한 시장조사 및 연구조사가 활발히 이루어지며 세계적으로도 인지도가 높은 회사입니다. 따라서 객관적인 지표로 이야기를 풀어나가기 적합하다고 판단하였습니다.
1. Gartner에서 바라보는 AI 보안에 대한 시각
매년 주요 전략 기술 트렌드를 발표하고 있는 가트너(Gartner)에서는 AI 보안을 어떻게 바라보고 있을지 알아보도록 하겠습니다.
가트너에서는 "Gartner Hype Cycle Emerging Technologies"라는 그래프를 통해 새롭게 등장하는 기술에 대한 성숙도와 기대치를 도식화하고 있습니다.
성숙도는 혁신적 기술(Innovation Trigger), 기대의 정점(Peak of Inflated Expectations), 환멸의 도래(Trough of Disillusionment), 이해의 확산(Slope of Enlightenment), 생산의 안정(Plateau of Productivity)으로 구분됩니다.
5 단계의 성숙도에 대해 자세히 알고 싶다면 아래 포스팅을 참조하면 좋습니다.
새로운 기술의 성숙도는 5단계로 나뉘어 가로축에 표시되며, 세로축은 해당 기술이 갖는 시장에서의 기대치를 나타냅니다. 2019년 그래프를 확인해보면 AI 보안과 관련된 기술들이 혁신적이고 기대가 높은 것을 확인할 수 있습니다.
앞선 자료들로부터 꾸준히 AI의 중요성과 기대감이 높아져 왔음을 알 수 있습니다.
이러한 AI의 기대감에 힘입어 가트너의 "Top 10 Strategic Technology Trends for 2020"에서 AI 보안이 2020년 주요 기술 트렌드 중 하나로 선정되었습니다.
사이버 공격 시뮬레이션 기술 동향에서 소개되고 있는 그래프를 보면 자율해킹기반 시뮬레이션 즉, AI를 활용한 사이버 공격이 늘어나고 있는 추세임을 알 수 있습니다.
2. AI를 악용하는 사례
다음 기사들을 통해 AI를 악용하는 사례가 점점 다양해지고 있음을 알 수 있습니다.
대부분의 사례를 보게되면 AI가 특정 패턴이나 사물과 결합되었을 때, 오인식하는 경우입니다. 이는 회피공격 혹은 입력공격으로 불리는 AI 공격의 일부입니다.
| 기사 | 요약 |
|---|---|
| 검은색 전기 테이프 한 조각 때문에 인공지능은 눈이 멀었다 | 안면 인식 알고리즘에서 착용자의 얼굴을 감지 할 수 없는 마스크 개발 |
| 얼굴인식 AI를 속이는 AI? 기만 공격 가능하다 | 얼굴에 몇 개의 점을 붙여 얼굴인식 AI가 다른 사람으로 인식 |
| This Trippy T-Shirt Makes You Invisible to AI | 티셔츠 착용자를 이미지 인식 시스템에서 숨기는 티셔츠 개발 |
| 자율주행차, 드론에서 쏜 가짜 도로표지판에 깜빡 속아 - 로봇신문사 | 드론에서 쏜 가짜 도로표지판에 속은 자율주행차 |
| "범인은 바로 너!" 얼굴 인식 기술의 착각 때문에 누명 쓴 흑인 남성 | 얼굴 인식 기술의 착각 때문에 누명 쓴 흑인 남성 |
이처럼 사이버 공격자들은 AI를 활용하여 다양한 분야에서 악용할 수 있는 새로운 공격방법을 만들어 냅니다. AI를 활용한 공격이 증가하게 되면 우리의 실생활에도 큰 영향을 미치게 될 것입니다. 가트너가 AI 기술이 아닌 AI 보안을 2020년 주요 기술 트렌드로 선정한 것은 어떻게 보면 당연한 결과일 수 있습니다. 결국 우리는 AI를 악용하는 문제들을 막아내기 위해 AI 보안에 대해 관심을 가지고 연구할 필요가 있습니다.
지금까지 AI 보안에 대해 왜 관심을 가져야 하는지에 대해 이야기해보았습니다. 이어지는 2부에서는 "AI를 활용한 공격은 무엇이 있을까?"라는 주제로 적대적 공격(Adversary Attack)이라 불리는 AI 공격에 대해 알아보도록 하겠습니다.