EW-AiRM™: 3가지 의도적인 계층으로 구성된 엔터프라이즈 전반의 AI 위험 관리.

특성:

기초 모델은 시스템에 명시적으로 훈련되거나 설계되지 않은 예상치 못한 능력을 보여줍니다. 이러한 능력은 모델의 명세에서 예측할 수 없는 방식으로 수십억 개의 매개변수 간 복잡한 상호 작용에서 발현됩니다.

예측 불가능한 이유:

모델에는 수십억 개의 매개변수가 있습니다. 행동은 시스템을 구축한 엔지니어조차 완전히 예측할 수 없는 복잡한 매개변수 상호 작용에서 발현됩니다. 능력은 예측할 수 없는 규모 임계점에서 발현됩니다.

거버넌스 대응:

적합한 대응 전략을 찾으려면 저희에게 연락하시거나 다음의 제14장을 확인해 보세요. EW-AiRM^TM Book.

특성:

중앙 집중형 AI 인프라 요소(가장 두드러지게는 주요 기반 모델 제공업체이지만, AI 스택이 성숙함에 따라 클라우드 GPU 제공업체, AI 가속기 제공업체, 벡터 데이터베이스 제공업체도 포함됨)의 장애가 수천 개의 종속 응용 프로그램에 동시에 연쇄적으로 발생하여, 고립된 조직적 장애가 아닌 경제 전반의 혼란을 초래합니다.

예측 불가능한 이유:

생태계 전반의 종속 규모는 장애가 발생하기 전까지는 알 수 없습니다. 개별 조직은 자체적인 종속성을 평가하지만, 단일 거버넌스 주체는 전체 금융 시스템, 의료 시스템 또는 기타 주요 부문 전반의 총체적 종속성에 대한 가시성을 가지고 있지 않습니다.

거버넌스 대응:

적합한 대응 전략을 찾으려면 저희에게 연락하시거나 다음의 제14장을 확인해 보세요. EW-AiRM^TM Book.

특성:

모델이 지정된 목표를 추구하는 방식이 유해한 이유는, 최적화 과정이 시스템 설계자가 예상하지 못한 목표 달성 경로를 찾아냈기 때문입니다. 모델은 최적화되도록 지시받은 대로 정확히 수행합니다. 그러나 그 최적화는 의도하지 않은 결과를 낳았습니다.

예측 불가능한 이유:

최적화 과정이 피해를 유발하는 목표 달성 경로를 찾아낼 수 있는 모든 가능성을 예상하기란 어렵습니다. 최적화는 수학적으로 올바르지만, 문제는 지정된 목표와 의도한 목표 사이의 간극입니다. 앤트로픽, 오픈AI, 구글 딥마인드, 그리고 영국 및 미국의 AI 안전 연구소 등 최첨단 AI 안전 연구 기관들은 모델의 능력이 향상될수록 이 간극이 좁혀지기는커녕 오히려 벌어진다는 점을 밝혀냈으며, 이는 정렬 실패를 기술적 성숙함에 따라 해결되는 문제가 아니라 구조적으로 커지는 위험으로 만들고 있습니다.

거버넌스 대응:

적합한 대응 전략을 찾으려면 저희에게 연락하시거나 다음의 제14장을 확인해 보세요. EW-AiRM^TM Book.

특성:

개별 양식은 허용 가능한 수준으로 평가되었으나, 텍스트, 이미지, 오디오 및 기타 AI 양식이 시스템 내에서 결합하면서 예상치 못하고 유해한 행동이 나타납니다. 이러한 결합은 단독으로는 존재하지 않았던 복합적인 효과를 만들어냅니다.

예측 불가능한 이유:

양식 간의 상호작용은 개별 양식의 분석만으로는 예측하기 어렵습니다. 개별적으로는 관리 가능한 편향들이 양식이 상호작용할 때 결합하여 질적으로 훨씬 더 심각한 피해를 유발할 수 있습니다.

거버넌스 대응:

적합한 대응 전략을 찾으려면 저희에게 연락하시거나 다음의 제14장을 확인해 보세요. EW-AiRM^TM Book.

특성:

업계 전반의 기존 AI 방어 체계를 무력화하는 새로운 공격 기법이 발견됩니다. 이는 단일 조직의 방어가 아니라, 모든 주요 시스템이 구현한 근본적인 접근 방식들을 무력화합니다.

예측 불가능한 이유:

AI 모델의 공격 표면은 엄청나게 넓으며 새로운 공격 각도는 항상 존재할 수 있습니다. 모든 언어 모델이 공유하는 다음 토큰 예측 목적이나 모든 신경망이 사용하는 경사 기반 최적화 등 모델 아키텍처의 근본적인 속성을 악용하는 새로운 공격 기법이 발견되면, 개별적인 방어 조치와 상관없이 해당 아키텍처를 사용하는 모든 모델에 대해 작동할 수 있습니다.

거버넌스 대응:

적합한 대응 전략을 찾으려면 저희에게 연락하시거나 다음의 제14장을 확인해 보세요. EW-AiRM^TM Book.

특성:

AI 공급망(훈련 데이터, 모델 라이브러리, 연산 인프라 또는 데이터 주석 서비스)에서의 장애나 공격이 하위 단계로 전파되어 해당 공급망 구성요소로 구축된 모든 시스템을 손상시킵니다.

기초 모델 제공자 위험은 카테고리 2(시스템적 집중)로 별도 다루어지며, 카테고리 6은 AI 공급망의 업스트림 및 인프라 계층을 다룹니다.

예측 불가능한 이유:

공급망은 복잡하며 취약성은 악용되기 전까지 숨겨져 있습니다. 공급망을 이해하는 악의적인 행위자는 수백 개의 하위 시스템에 동시에 영향을 미치는 지점에 취약성을 도입할 수 있습니다.

거버넌스 대응:

적합한 대응 전략을 찾으려면 저희에게 연락하시거나 다음의 제14장을 확인해 보세요. EW-AiRM^TM Book.

특성:

개별적으로는 모두 허용 가능하다고 평가된 두 개 이상의 AI 시스템이 서로의 출력에 작용하는 상호작용으로 인해 실패 또는 유해한 행동이 발생합니다. 이는 단일 시스템이 생성하도록 설계되지 않은 복합 효과, 연쇄적 권한 이전, 또는 조율된 행동을 만들어냅니다. 이 실패는 개별 에이전트가 아닌 상호작용의 속성입니다.

예측 불가능한 이유:

다중 에이전트 상호작용은 철저하게 사전 평가할 수 없는 조합적 공간을 생성합니다. 각 에이전트의 행동은 제한되어 있으며, 다른 에이전트와의 상호작용도 제한됩니다. N개의 에이전트가 M개의 도구와 K개의 의사결정 지점에 걸쳐 상호작용하는 조합은 실용적인 평가 용량을 초과하는 행동 공간을 만들어냅니다. 협력, 기만, 목표 표류를 포함한 창발적 행동은 연구 환경에서 문서화되었으며 프로덕션 에이전틱 배포에서 점점 더 많이 관찰되고 있습니다. 전통적인 안전 평가는 한 번에 하나의 에이전트를 평가하므로 다중 에이전트 창발적 실패는 그 평가 방법론상 보이지 않습니다.

거버넌스 대응:

적합한 대응 전략을 찾으려면 저희에게 연락하시거나 다음의 제14장을 확인해 보세요. EW-AiRM^TM Book.