들어가며

영향력 있는 혁신을 위해서는 적절한 관리와 감독이 필요하다. 과거 자동차 설계와 안전 기준 규제들 생겨나기 시작했듯이 이제는 인공지능 규제의 필요성에 대한 사회적 인식이 확산되고 있다. 최초의 보급형 자동차인 포드 모델T(Model T)가 개발된 이후 몇 년 동안 정부는 교통법과 운전면허 요건과 같은 가이드라인을 만들었고, 제조업체는 자동차의 안전성과 신뢰성을 중시하기 시작했으며, 디자이너는 백미러와 안전벨트 같은 새로운 안전 장치를 개발했다. 이러한 다양한 대응 조치들 중 어느 한 가지만으로는 운전의 안전성을 보장할 수 없으며, 여러가지 조치가 모두 필요하다. 이와 마찬가지로 AI 거버넌스도 다양한 접근 방식을 통합하여 일관되고 유연한 전략을 수립해야 한다.

지난 5년 동안 미국 연방 정부는 ‘신뢰할 수 있는 AI’(trustworthy AI)^[1], 즉 안전하고 보안이 유지되고 신뢰할 수 있으며 투명한 AI 시스템을 권장해왔으며, 관리예산실(OMB)의 메모 M-21-06과 같은 이행 지침도 제시되었다.^[2]이제 이러한 지침을 어떻게 구체적으로 실행할 것인가가 더 중요한 과제로 부상했다. 최근 한 설문 조사에 따르면, 조사에 참여한 기업 리더의 거의 절반이 2024년에는 ‘책임 있는 AI’(responsible AI)에 그 어느 때보다 더 많은 투자할 계획이라고 답했다.^[3]이러한 투자는 신뢰할 수 있는 AI 관행의 구현을 위해 발표한 백악관의 발표한 ‘안전성, 보안성 및 신뢰성 있는 AI의 개발과 활용에 관한 행정명령 14110호’ 등 최근 행정부와 주정부의 입법 및 행정 조치의 증가와 맥락이 일치한다.^[4]

책임 있고 효과적인 AI 솔루션을 구현하는 과제를 맡은 정부 리더에게는 시민들의 기존 태도에 부합하는 일관된 AI 거버넌스 전략을 우선시하는 것이 성공의 핵심이 될 것이다 현재 효과적인 AI 거버넌스를 위한 공통된 세 가지 접근 방식을 나타내는 세 가지 페르소나(persona)가 있다. 첫째, 행정명령 14110과 같은 기업 정책 결정에 중점을 둔 '가이드(Guide, 안내자)', 둘째, 표준화된 품질 보증을 점검하는 데 중점을 둔 '가드(Guard, 감시인)', 셋째, 도구 제공 및 피드백 메커니즘에 중점을 둔 '가제티어(Gadgeteer, 기술 전문가)'가 그것이다.

이러한 접근 방식들은 나름대로 탄탄한 기반을 제공하지만, AI 혁신의 기하급수적인 발전 속도를 따라가기 위해서는 이 세 가지 방식을 통합하고 급속도로 발전하는 AI 기술에 적용할 수 있는 역동적인 AI 거버넌스가 필요하다.

AI 거버넌스의 핵심 과제

거버넌스는 위험과 책임을 완화하면서도 효율성을 높이기 위한 업무 프로세스 관리(BPM)를 포함한다. 자동차, 컴퓨터, 휴대전화 등 주요 혁신의 발발로 연방통신위원회(FCC)나 도로교통안전국(NHTSA)과 같은 전담 거버넌스 기관이 설립되었다. 이처럼 AI도 독자적인 거버넌스 접근 방식이 필요하다. 특히 급변하는 AI 기술의 도전 과제에 대응하기 위해서는 훨씬 더 역동적인 거버넌스 접근 방식이 요구된다.

• AI 모델은 시간이 지남에 따라 변화한다: AI 모델은 새로운 데이터를 학습하고 적응할 수 있는 능력을 갖추고 있어 강력하고 회복력이 있다. 그러나 중요한 전환점에서 적절한 거버넌스가 없다면 시간이 흐르면서 AI 모델의 결과물이 처음 의도한 목적과 달라지거나 신뢰성을 잃을 수 있다.

• AI의 활용 상황과 AI 분야에 따라 다르다: AI 사용자와 이해관계자에게 AI가 활용되는 상황에 따라 위험수준이 달라진다. 예를 들어, 의료비 청구에서 사기 탐지를 수행하는 AI는 웹사이트에서 개인화된 추천을 제공하는 AI보다 더 높은 정확성과 신뢰성이 요구된다. 또한, AI의 분야에 따라 위험과 결과도 달라진다. 예를 들어, 생성형AI는 딥페이크(deepfake)와 같이 개인을 사칭하는 가짜 비디오를 만들 수 있다는 위험을 가지고 있다.^[5]

• AI 기술은 빠르게 발전하고 있다: 25%의 기업이 노동력 부족 문제를 해결하기 위해 AI 도입을 고려하고 있는 등, 당분간 AI 도입이 둔화될 가능성은 매우 낮다.^[6] AI 제품이 빠르게 발전하면서 정책과 표준은 금방 구식이 될 수 있어, 효과적인 거버넌스를 지속하기 어려울 수 있다.

• AI는 인간의 편견과 오류에 취약하다: AI 모델이 불완전한 정보나 인간의 편견을 학습할 경우 사회적 편견이 증폭되는 결과가 초래될 수 있다. 적절한 품질 관리가 없다면 인간의 오류가 시스템, 솔루션, 나아가 대중에게까지 위험을 미칠 수 있다. 예를 들어, 유해하거나 오류가 있는 데이터를 8% 입력할 경우 AI 시스템의 정확도가 75%까지 떨어질 수 있다는 연구도 있다.^[7]

AI 거버넌스 페르소나 및 접근 방식

정부 기관은 일반적으로 앞서 설명한 AI 거버넌스에 대한 세 가지 접근 방식 중 하나를 따른다.^[8]이들 세 가지 AI 거버넌스 페르소나나 접근 방식을 융합함으로써 성공적인 결과를 얻을 수 있다.

가이드(안내자)는 안전하고 투명한 결과물을 보장하기 위해 명확한 정책과 가이드라인을 수립하는 데 중점을 둔다. 가드(감시인)는 AI 제품의 수명 주기 동안 표준화된 점검 항목과 단계별 검토를 통해 품질 보증을 강화에 집중한다. 가제티어(기술전문가)는 AI 모델의 신뢰성 평가를 위해 AI 제품 수명 주기에 툴과 피드백 메커니즘을 통합하는 데 초점을 맞춘다. 정부 기관은 이 세 가지 접근 방식을 모두 고려해야 하지만, 특정 영역에 집중하는 경우도 있다. 그러나 변화하는 환경에 적응하면서 '신뢰할 수 있는 AI'의 구축을 위해서는 이제 세 가지 접근 방식을 통합한 역동적인 AI 거버넌스가 필요하다.

가이드(안내자)

가이드는 조직 내에서 모든 구성원이 따를 수 있는 표준을 정하고, 이를 바탕으로 기관의 정책을 수립하는 데 중점을 둔다. 이 접근 방식은 연방, 주 또는 공공기관 수준에서 정책을 설정하는 것과 관련이 있다. 다음은 가이드 접근 방식의 사례들이다.

• 정부 AI 표준지침 제시: 정부는 AI 도입, 책임 및 미래 조정(future alignment)에 대한 국가 표준을 수립한다. 예를 들어, 백악관은 2022년 'AI 권리장전에 대한 청사진'을 발표하여 AI 도입에 대한 포괄적인 지침을 제시했다.^[9]이후 미국 국립표준기술연구소(NIST)는 2023년 'AI 위험 관리 프레임워크'에서 AI의 설계, 개발, 배포 및 사용에서 발생하는 위험을 완화하기 위한 가이드를 제공했다.^[10]지난 3월 관리예산실(OMB)은 기관의 AI 거버넌스를 강화하고 혁신 도모와 위험 관리 개선을 위한 '행정부와 기관책임자를 위한 공지(M-24-10, 이하 M-24-10)'을 발표했으며, 여기에는 최고 AI 책임자 지정, AI 전략 개발, AI 사용 사례 작성과 같은 구체적인 지침이 포함됐다.^[11]

• 이해관계자를 위한 정책: 주 정부는 국가 표준을 기반으로 필요한 정책을 발표한다. 예를 들어, 생성형AI의 확산에 따라 캘리포니아 주지사 개빈 뉴섬(Gavin Newsom)은 2023년 9월에 주 정부 기관에 생성형AI 도입을 위한 가이드라인을 개발하라는 행정명령을 발표했다.^[12]

가이드는 중요한 기반을 마련할 수 있지만, 자원 소모가 크고 비효율적인 운영 프로세스를 초래할 수 있는 정책을 설정할 가능성도 있다. 따라서 보완적인 조치가 없는 가이드 중심의 접근 방식은 다음과 같은 이유로 한계가 있을 수 있다.

• 1.AI의 빠른 진화 속도는 정책을 금방 구식으로 만든다: 생성형AI의 빠른 확장에서도 확인할 수 있듯이 AI의 급속한 발전은 기존 정책을 금방 구식으로 만들 수 있다. 결과적으로, 정책이 AI의 발전 속도를 쫓아가지 못할 경우 혁신적인 AI 기술의 채택이 제한되거나 지연될 수 있다.

• 2.가이드는 혁신과 효과적인 도입의 장애물이 될 수 있다: 정책 수립에 과도하게 집중할 경우, 조직은 업무 진행을 못하고 불필요한 절차에 묶일 수 있다. 또한 지나치게 복잡한 정책은 조직 내 혁신과 실험을 저해하는 장애물이 될 수 있다.

• 3.유연성이 부족한 정책은 위험을 초래할 수 있다: 조직은 필요에 따라 지나치게 규범적인 정책을 조정하여 일관성 없는 기준을 선정하는 등 추가적인 위험을 초래할 수 있다. 반면에 정책이 너무 광범위하면 준수 여부를 판단하기 어려울 수 있다. 계약업체 및 기타 제3자 기관은 프로젝트 준수에 영향을 미칠 수 있는 다른 조직 정책을 따를 수 있다. 정책 준수를 할지라도 정책에서 다루지 않는 다른 위험이 존재할 경우 잘못된 보안 인식이 생길 수 있다.

가드(감시인)

가드는 AI의 품질 보증을 강화하고 AI 관련 위험을 관리하는 데 중점을 둔다. 연방정보보안관리법(FISMA 2014)이 정보화 시스템에 대한 보안 요구 사항을 설정하는 것처럼, 가드 역시 AI 개발, 운영 및 유지관리를 위해 주로 다음 두 가지 요소를 포함한 접근 방식을 취한다.

• 표준화된 AI 제품 요구 사항: 가드는 AI 제품의 수명주기에 따라 각 개발 단계 전에 충족해야 할 세부적인 요구 사항과 평가 지표, 임계값 등을 설정한다. 예를 들어, 관리예산실(OMB)의 ‘M-24-10’에서는 배포 전 AI의 권리 및 안전에 대한 최소한의 위험 관리 요구 사항(예: AI 영향 평가 및 실제 환경에서의 성능 테스트)을 규정하고 있다.^[13]이러한 체크리스트 방식의 단계별 평가는 AI의 품질 보증을 강화하는 데 목적이 있다.

• 표준화된 조달 요구 사항: 가드는 제3자 공급업체가 동일한 품질 보증 표준을 준수하도록 계약 조항과 입찰을 표준화하는 데 중점을 둔다. 예를 들어, 2023년에 입법 제안된 '연방정부 인공지능 위험 관리법'에서는 연방조달규제(FAR) 위원회가 AI 제품을 구입시 리스크 관련 내부통제 기준을 수립하도록 요구하고 있다.^[14] ‘또한, '행정 명령 14110'은 필요에 따라 FAR 위원회가 연방 조달 규정을 개정하도록 지시한다.^[15]

표준화된 체크포인트와 조달 요건은 조직 내외부의 이해관계자가 기본적인 기대 수준을 충족하도록 책임을 부여하여 AI 거버넌스의 일관성을 높일 수 있다. 그러나 가드의 접근 방식만으로는 다음과 같은 세 가지 주요 과제에 직면할 수 있다.

• 1.표준화된 체크포인트는 AI 제품의 차이점을 설명하지 못할 수 있다: AI 제품은 사용 사례와 기술적 구성 요소에 따라 신뢰성을 평가하는 방법이 달라질 수 있다. 특히, 개인에게 직접 영향을 미치는 AI는 더 엄격한 품질 보증이 필요하다.^[16]예를 들어, 소득 지원 프로그램의 적격성 결정을 돕는 AI는 백오피스의 경비 보고서 분석을 자동화하는 AI보다 더 세밀한 체크포인트가 요구될 수 있다. 이처럼 제품별 특성에 맞는 맞춤형 지표와 체크포인트가 필요하다.

• 2.표준화된 체크포인트는 AI 제품의 최종 사용자를 고려하지 못할 수 있다: 체크포인트는 AI 수명 주기 동안 품질 보증을 강화할 수 있지만, AI의 최종 사용자와 관련된 법적, 평판적 위험을 충분히 고려하지 못할 수 있다. 예를 들어, 사용자가 AI 결과물을 잘못된 정보로 악용할 경우, 체크포인트만으로는 이를 방지할 수 없다. 따라서 이러한 사용자 기반의 위험을 해결하려면 추가적인 AI 거버넌스가 필요하다.

• 3.표준화된 체크포인트는 시간의 경과에 따른 AI의 변화를 고려하지 못할 수 있다: 체크포인트는 특정 시점에서의 검토일 뿐, 시간이 지나면서 발생하는 위험을 모두 감지하지 못할 수 있다. 예를 들어, AI 모델이 초기 배포 시에는 문제없더라도, 시간이 지나면서 환경 변화에 따라 성능이 저하되는 '모델 드리프트’(model drift) 현상이 발생할 수 있다. 이와 같은 AI 모델의 진화는 단순한 체크포인트가 아닌 지속적인 모니터링을 통해 관리해야 한다.

가제티어(기술전문가)

가제티어는 AI 거버넌스와 관리를 자동화하기 위해 다양한 플랫폼과 도구(tool)를 활용하는 데 중점을 둔다. 이 접근 방식은 주로 다음과 같은 요소들로 구성된다.

• 성능을 향상시키는 도구: 가제티어는 AI 모델 결과물의 품질을 개선하는 도구를 실행한다. 예를 들어, 편향 탐지 도구를 사용해 AI 제품 내 불평등의 원인을 식별하고 완화하거나, 배포 후 모델 드리프트를 탐지하는 모니터링 도구를 사용하여 AI 모델의 성능을 유지하고 개선할 수 있다.

• 보안을 강화하는 도구: 가제티어는 AI 모델과 데이터를 보호하기 위해 다양한 보안 도구를 사용한다. 예를 들어, AI 제품에 대한 적대적 공격을 시뮬레이션하는 '레드티밍'(red-teaming)은 머신러닝 파이프라인의 보안을 강화하는 데 널리 사용되는 전략 중 하나다.

• 책임을 강화하는 도구: 가제티어는 AI의 책임성과 투명성을 높이는 도구를 사용한다. 여기에는 AI가 생성한 콘텐츠를 추적할 수 있는 워터마킹이나, 기관이 법적 및 윤리적 요구 사항의 준수 여부를 평가할 수 있는 감사 도구 등이 포함된다.

이러한 도구들은 모델 성능을 추적하고 개선하는 데 매우 효과적이지만, 가제티어 중심의 접근 방식만으로는 다음 두 가지 해결 과제에 직면할 수 있다.

• 1.도구만으로는 AI 사용 사례의 신뢰성을 평가할 수 없다: AI 제품의 신뢰성과 책임감 있는 사용을 보장하기 위해서는 도구만으로는 충분하지 않다. AI 제품 관리자는 AI 제품의 의도된 용도가 조직의 사명과 일치하며, 조직의 직원, 파트너, 그리고 수혜자에게 예상치 못한 부정적 결과를 초래하지 않는지 고려해야 한다.

• 2.도구는 모든 AI 정책의 준수 여부를 평가할 수 없다: 도구는 주로 AI 모델과 그 출력의 성능을 평가하는 데 집중하지만, AI 제품의 데이터 개인정보 보호 정책이나 기타 관련 정책의 준수 여부는 따로 관리자가 확인해야 한다. AI 제품 관리자는 도구를 넘어, 모델 입력과 사용이 정책을 준수하는지 확인하는 역할도 해야 한다.

역동적 AI 거버넌스

AI 거버넌스의 중요한 측면을 고려하라

가이드, 가드, 가제티어는 AI 거버넌스의 다양한 중요한 측면을 다루지만, 단독으로는 신뢰할 수 있는 AI를 실현하기에 충분하지 않다. 이를 비유하자면, 배낭여행을 계획할 때 가이드는 여정의 경로를 짜는 데는 유용하지만, 날씨 변화에 따른 경로 수정에는 도움을 줄 수 없다. 가드는 체크리스트를 제공해 짐을 챙기고 야영지를 정하는 등의 활동에 도움을 줄 수 있지만, 예상치 못한 문제를 해결하는 데는 한계가 있다. 가제티어는 내구성이 뛰어난 텐트, 부츠 등 여행 장비를 선택하는 데 도움을 주지만, 실제 여행 자체를 평가하지는 않는다.

신뢰할 수 있는 AI를 구축하기 위해서는 이러한 세 가지 접근 방식을 모두 통합하고, 단기적 및 장기적 변화에 유연하게 적응할 수 있는 포괄적인 거버넌스 메커니즘이 필요하다. 이를 위해 다섯 가지 핵심 특징을 갖춘 역동적인 AI 거버넌스 전략이 필요하다.

그림 1. 신뢰할 수 있는 AI 목표를 달성하기 위해서는 기술 및 정책의 발전에 지속적으로 적응하는 동시에, 중요한 인적 감독을 유지하고 AI 거버넌스의 세 가지 핵심 접근 방식을 통합해야 한다.

출처: Deloitte Center for Government Insights analysis.

• 1.신뢰할 수 있는 AI를 위한 명확한 프레임워크로 거버넌스 활동 알리기: 역동적인 AI 거버넌스 접근은 '가이드'의 개념을 받아들이며, 기관의 사명과 목표에 맞춰 신뢰할 수 있는 AI의 정의와 원칙을 수립하는 것에서 시작한다.^[17]  이를 위해 조직은 정부와 기관의 원칙을 채택할 수도 있다. 예를 들어, 대통령 행정부에서 제시한 'AI 권리장전 청사진'의 원칙(안전한 시스템, 데이터 프라이버시)과 OMB의 '메모 M-21-06'에서 다루는 유연성 및 조정의 원칙을 채택할 수 있다.^[18]  효과적인  프레임워크는 기술적 고려 사항(예: 안전한 AI 출력)과 기능적 고려 사항(예: AI 출력의 해석 가능성)을 모두 다루어야 하며, AI 신뢰성에 대한 공통된 이해와 의사 결정을 위한 기준을 제공해야 한다.

• 2.품질 이슈를 방어하기 위한 측정 가능한 성과 목록: 역동적인 접근 방식은 기관의 사명과 신뢰할 수 있는 AI 원칙에 맞는 성과 목록을 수립하여 가드의 사고방식을 통합하는 것이다. 성과 목록은 성공을 위한 요건, 지원 요소 및 장벽에 대해 설명해주기 때문에, 기관이 AI 거버넌스 활동을 식별하고 우선순위를 지정하는 데 도움이 된다. 예를 들어, 차별 금지를 신뢰할 수 있는 AI의 핵심 목표로 삼은 기관이라면, 예상 성과 목록에 모델 공정성의 개선 여부를 지표로 설정하고 측정할 수 있다.^[19] AI 거버넌스에 대한 측정 가능한 성과 목록을 수립할 때 기관은 다양한 목표 간 균형을 고려해야 한다. 예를 들어, 해석하기 쉬운 AI 모델은 예측 정확도가 낮을 수 있다.^[20]
  

• 3.지속적인 개선을 지원하는 툴 및 피드백 메커니즘: 가제티어의 역할을 확장하여 성과 모니터링을 자동화하고 피드백을 수집하는 메커니즘을 마련하는 것이 필요하다. 직원, 파트너, 최종 사용자 등 다양한 이해관계자들이 AI 제품에 대한 피드백을 지속적으로 제공할 수 있는 경로를 제공해야 한다. 백악관의 공개 청취 세션, 패널 토론 및 AI 권리장전의 청사진을 알리기 위한 공식적인 정보공개 요청과 같은 대중의 의견을 수집하는 전통적인 경로를 고려할 수 있다.^[21]또한 백악관이 과학기술정책실(OSTP)과 협력한 2023년 ‘데프 콘’(DEF CON) 이벤트와 같이 실시간 의견을 수집하는 비전통적인 경로를 고려할 수도 있다.^[22]웹사이트 등을 통한 자동 피드백 수집도 AI 위험과 기회를 파악하고 AI 제품을 지속적으로 개선하는 데 기여할 수 있다.

• 4.새로운 해결과제에 발맞추기 위한 지속적인 적응: 역동적인 접근 방식은 본질적으로 AI의 빠른 기술 변화에 적응하는 것이다. 챗GPT는 출시 후 2개월 만에 월간 활성 사용자가 1억 명에 도달하면서 역사상 가장 빠르게 성장한 소비자 애플리케이션이 되었다.^[23]딜로이트의 ‘State of Generative AI in the Enterprise Survey’에 참여한 2,835명의 비즈니스 및 기술 리더 중 31%는 생성형AI가 1년 이내에 조직과 산업을 크게 변화시킬 것으로 예상했다.^[24]정부 기관은 정기적으로 정책, 체크리스트, 도구 등을 재검토하고 이에 맞춰 신뢰할 수 있는 AI 목표를 지속적으로 충족할 수 있도록 정책을 업데이트해야 한다.

• 5.휴먼 인 더 루프(Human in the Loop)로 임무에 맞춘 거버넌스:
  AI 거버넌스는 제품과 환경의 구체적인 위험을 고려한 ‘휴먼 인 더 루프’ 모델을 채택해야 한다. 모든 AI 제품에 인간의 감독이 필요한 것은 아니지만, 대중의 안전과 권리에 영향을 미치는 고위험 AI 제품의 경우 인간의 개입이 필수적이다.^[25]기관의 임무와 이해 관계자를 고려한 팀이 이 역할을 수행할 준비가 되어 있어야 하며, 이는 AI의 미묘한 위험을 관리하는 데 중요한 요소가 된다.

다음은 무엇이 필요한가?

AI 도입이 확산되고 기술이 더욱 정교해짐에 따라, 효과적인 거버넌스의 필요성은 더욱 커질 것이며, 이에 따라 역동적인 AI 거버넌스를 감독할 인력의 중요성도 함께 증가할 것이다. 가장 성공적인 기관은 가이드의 지혜, 가드의 세심함, 가제티어의 통찰력을 모두 갖춘 인재가 필요하다. 이를 위해 기관은 AI 기술의 잠재력을 이해하고, 거버넌스의 현재와 미래 과제를 파악하며, 기관의 사명에 대한 깊은 이해를 가진 인재를 팀으로 구성해야 한다. 이러한 다기능전략 팀은 AI 거버넌스 활동을 기관의 사명, 비전 및 목표 성과에 전략적으로 연결하는 역할을 수행할 수 있다.

앞으로 기관들은 책임감 있고 효과적인 AI 솔루션을 구축하고 유지하는 데 더욱 체계적으로 집중할 가능성이 높다. 마치 자동차의 안전 기능이 시간이 지남에 따라 발전하여 운전자와 승객을 보호하는 것처럼, 정부 기관도 AI 거버넌스 접근 방식을 통합하고 지속적으로 조정하여 신뢰할 수 있는 AI 원칙을 조직 전반에 주입해야 한다. 이러한 역동적인 AI 거버넌스 접근은 미래의 변화에 유연하게 대응할 수 있는 기반을 마련해, 진정으로 신뢰할 수 있는 AI 실천을 가능하게 할 것이다.