국내 기업의 인공지능 활용은 실험 단계를 지나 업무 시스템 안으로 들어오고 있다. 검색 의도의 중심도 도입 여부가 아니라 안전하고 준법 가능한 운영 방식으로 이동했다. 2026년 시행을 앞둔 인공지능기본법은 신뢰·안전·검증·인증 체계를 강조하고, 한국인터넷진흥원은 기업이 참고할 수 있는 AI 보안 안내서와 AI 보안 위협 대응 매뉴얼, AI 보안 레드티밍 가이드를 공개하고 있다. 이 글은 보안책임자, 정보보호·개인정보 담당, IT·AI 플랫폼 담당, 준법·리스크관리 및 내부감사 실무자가 AI 도입 전후에 적용할 수 있는 기업 AI 거버넌스, AI 도입 보안 대책, 인공지능 리스크 관리의 실행 기준을 정리한다.

기업 AI 거버넌스가 필요한 이유는 단순하다. 생성형 AI와 외부 모델 API는 편익이 빠른 대신 데이터 경계, 책임 소재, 규제 준수 부담을 동시에 키운다. 사내 문서 요약, 고객 응대 초안, 코드 생성, 계약서 검토 보조 같은 용례는 개인정보와 영업비밀, 지식재산이 모델 입력으로 흘러갈 수 있는 통로를 만든다. 여기에 프롬프트 인젝션, 데이터 중독, 모델 탈취, 오남용 같은 위협이 결합하면 기술 사고가 아니라 내부통제 실패로 확장된다. 따라서 인공지능 리스크 관리는 도입 승인 단계에서 위험을 식별하고, 운영 단계에서 통제와 감사 증적을 남기며, 배포 이후 재평가하는 순환 구조여야 한다.

가장 먼저 점검할 위험 평가 항목은 데이터, 모델, 사용자, 외부 의존성, 규제의 다섯 축으로 나눌 수 있다. 데이터 축에서는 입력 데이터의 민감도, 개인정보 포함 가능성, 보존·파기 규칙, 학습 데이터의 출처와 권리를 확인한다. 모델 축에서는 외부 범용 모델인지 사내 파인튜닝 모델인지, 학습·추론 위치, 버전 고정 가능성, 설명 가능성과 성능 한계를 본다. 사용자 축에서는 접근 권한, 부서별 용도, 그림자 AI 사용 가능성, 교육 이수 여부를 점검한다. 외부 의존성 축에서는 API 제공자의 보안 인증, 장애·서비스 종료 시 대체 계획, 재판매·재학습 조항, 로그 보관 정책을 확인한다. 규제 축에서는 인공지능기본법상 고영향 AI 해당 가능성, 개인정보 보호법과 정보통신망법의 적용, 산업별 감독 규정, 설명 요구와 이의제기 절차를 정리한다. 식별 기준은 가능성과 영향도만으로 끝내지 말고 탐지 가능성과 통제 성숙도를 함께 반영해 상·중·하로 등급화하고, 고위험으로 분류된 용례는 자동 승인 대상에서 제외한다.

조직도와 책임분장은 위원회를 만들었다는 사실보다 결정 권한과 보고 체계가 명확한지가 중요하다. 일반적으로 최고경영자 또는 최고정보보호책임자를 의장으로 하는 AI 거버넌스 위원회를 두고, 정보보호, 개인정보, 법무·준법, IT 플랫폼, 데이터, 사업부, 내부감사 대표를 참여시킨다. 위원회는 정책 승인, 고위험 용례 심의, 예외 승인, 사고 대응 우선순위를 결정한다. 실무 계층에는 AI 보안·리스크 실무협의체를 두어 위험평가표 작성, 모델·API 검토, 테스트 결과 확인, 배포 전 점검을 수행하게 한다. 책임분장은 모델 제공자, 플랫폼 운영자, 데이터 소유자, 활용 부서, 통제·감사 기능으로 나누어 입력 데이터 책임, 접근통제 책임, 로그·모니터링 책임, 사고 통지 책임을 문서화한다. RACI 형식의 표를 활용하면 의사결정자와 실행자, 협의 대상, 통보 대상을 구분하기 쉽다.

생성형 AI와 외부 LLM, API 사용 시에는 데이터 유출과 프롬프트 인젝션을 별도 통제 항목으로 다뤄야 한다. 데이터 유출 대책은 입력 단계의 민감정보 탐지·마스킹, 업무용과 개인용 계정 분리, 외부 모델의 학습 이용 옵션 확인, 계약상 재학습 제한, 전송·저장 암호화, 접근 로그 보존으로 구성된다. 프롬프트 인젝션 대책은 신뢰할 수 없는 문서·웹 콘텐츠·이메일을 모델이 직접 실행 지시로 해석하지 않도록 입력 출처를 구분하고, 도구 호출 권한을 최소화하며, 시스템 프롬프트와 사용자 입력의 경계를 명확히 하고, 출력 검증과 이상 행위 탐지를 결합하는 방식이다. 외부 API는 호출량 제한, 키 관리, IP·계정 기반 접근통제, 응답 로그의 개인정보 비식별화, 장애·오남용 시 차단 절차를 계약과 운영 문서에 함께 반영해야 한다. AI 도입 보안 대책은 기술 통제만으로 완결되지 않으므로 사용 금지 정보 유형, 승인된 도구 목록, 사고 신고 채널을 정책 문구로 명확히 하는 것이 필요하다.

내부통제 승인 절차는 용례 등록, 위험평가, 통제 설계, 심의·승인, 배포, 모니터링, 재평가의 단계로 설계한다. 용례 등록 단계에서 사업부는 목적, 사용 데이터, 모델·API, 예상 사용자, 외부 연동, 고객 영향 여부를 제출한다. 위험평가 단계에서는 앞서 정한 다섯 축 평가표를 적용하고, 고위험 용례는 데이터 보호 영향 검토와 법률 검토를 추가한다. 통제 설계 단계에서는 최소 권한, 마스킹, 로그, 테스트, 교육, 비상 중단 절차를 정한다. 심의·승인 단계는 위원회 또는 위임된 심의 창구가 조건부 승인, 시범 운영, 반려, 보류 중 하나로 결정하고 승인 유효기간과 재검토 주기를 부여한다. 예외관리는 승인되지 않은 도구 사용, 데이터 반입 제한 위반, 외부 API 정책 미준수 상황을 다루며, 예외 신청서에는 사유, 기간, 보완 통제, 책임자, 종료 조건을 기재한다. 예외는 자동 갱신되지 않도록 하고, 만료 전 재심의를 의무화하며, 예외 현황을 내부감사와 위원회에 정기 보고한다. 승인 이후에도 변경 관리 절차를 두어 모델 버전, 데이터 소스, 연동 시스템이 바뀌면 재평가하도록 한다.

국내 규제 준수 체크포인트는 인공지능기본법과 한국인터넷진흥원 가이드라인을 축으로 삼되, 개인정보 보호법과 산업별 규제를 함께 놓고 정리하는 것이 현실적이다. 인공지능기본법은 신뢰·안전 확보, 위험 관리, 검증·인증, 이용자 보호를 강조하므로 고영향 AI 여부 판단, 위험 관리 체계 문서화, 학습·운영 데이터의 적법성, 설명·고지·이의제기 절차, 사고 대응 계획을 점검 항목으로 둔다. 한국인터넷진흥원의 AI 보안 안내서와 위협 대응 매뉴얼, 레드티밍 가이드는 자산 식별, 위협 모델링, 보안 요구사항, 테스트 방법, 취약점 대응 절차를 구체화하는 참고 자료로 활용할 수 있다. 규제 준수는 법무 검토 의견, 위험평가 결과, 승인 기록, 테스트 결과, 교육 이수 기록, 모니터링 로그를 하나의 증적으로 묶어 관리할 때 감사 대응력이 높아진다. 규제 문구와 기술 기준은 개정될 수 있으므로 준수 항목의 검토 주기와 담당자를 지정하고, 변경 시 정책과 평가표를 갱신하는 절차를 마련해야 한다.

AI 보안 위협 대응은 위협별 통제를 미리 정해 두는 방식이 효과적이다. 데이터 중독은 학습·검색 증강 데이터의 출처 검증, 변경 이력 관리, 이상 패턴 탐지, 주기적 품질 점검으로 대응한다. 모델 탈취는 API 호출 패턴 모니터링, 속도 제한, 인증 강화, 출력 워터마크·핑거프린트, 계정 이상 행위 탐지로 위험을 낮춘다. 오남용은 허용 용례와 금지 용례를 구분하고, 고위험 요청에 대한 정책 필터와 인간 검토를 결합하며, 사용자 교육과 감사 로그 분석을 병행한다. 프롬프트 인젝션은 입력 검증, 도구 권한 최소화, 외부 콘텐츠 격리, 출력 검증으로 대응하고, 모델·API 제공자의 보안 패치와 버전 변경도 정기적으로 확인한다. 사고 대응 체계는 탐지, 분류, 격리, 통지, 복구, 재발 방지의 절차와 연락 체계를 문서화하고, 개인정보 유출 가능성이 있을 때는 법정 통지와 신고 의무를 검토한다.

도입 전후 점검 체크리스트는 실무자가 바로 사용할 수 있어야 한다. 도입 전에는 용례 목적과 범위, 데이터 민감도와 개인정보 포함 여부, 외부 모델·API 계약 조건, 접근 권한과 인증, 로그·모니터링 설계, 테스트 계획, 교육 계획, 사고 대응 연락 체계, 규제 해당 여부를 확인한다. 도입 후에는 승인된 사용자와 도구만 운영되는지, 민감정보 입력 차단이 작동하는지, 프롬프트 인젝션·데이터 중독·모델 탈취 관련 탐지가 유효한지, 로그가 보존되고 감사 가능한지, 예외 승인이 유효기간 내 관리되는지, 모델·API 변경이 재평가로 이어지는지 점검한다. 위험평가표는 자산, 위협, 취약점, 가능성, 영향도, 통제, 잔여 위험, 책임자, 재평가일 항목으로 구성하고, 고위험 항목은 위원회 심의 대상으로 표시한다. 레드팀 테스트 항목은 프롬프트 인젝션, 탈옥, 민감정보 유출 시도, 학습 데이터 오염, API 남용, 권한 상승, 로그 우회, 모델 출력의 정책 위반을 포함하고, 테스트 결과는 배포 승인과 재평가에 연결한다.

배포 이후에는 모니터링과 재평가를 정례화해야 한다. 운영 지표로는 입력 차단 건수, 정책 위반 출력, 이상 호출 패턴, 접근 권한 변경, 예외 승인 현황, 사고·민원 접수, 모델·API 버전 변경을 관리한다. 재평가는 정기 주기와 중대 변경 발생 시로 나누고, 고위험 용례는 더 짧은 주기로 검토한다. 교육·점검 체계는 역할별로 차등화한다. 경영진과 위원회에는 규제 변화와 잔여 위험을, 개발·운영자에는 보안 코딩과 API 통제를, 일반 사용자에는 입력 금지 정보와 사고 신고 절차를 교육한다. 내부감사는 승인 프로세스 준수, 예외관리 적정성, 로그·증적 완전성, 재평가 이행 여부를 독립적으로 확인하고 결과를 위원회에 보고한다. 이처럼 기업 AI 거버넌스는 위험 평가, 보안 대책, 승인·예외관리, 규제 준수, 모니터링과 교육을 하나의 순환으로 묶을 때 작동한다. 인공지능 리스크 관리는 한 번의 심사로 끝나는 문서가 아니라 변경과 사고에 반응하는 운영 체계라는 점을 전제로 설계해야 한다.