[한국공공정책신문=김유리 기자]
(편집자주) 박동명은 법학박사로서 한국공공정책신문 발행인과 선진사회정책연구원 원장으로 활동하고 있다. 서울특별시의회 보건복지전문위원을 역임했으며, 법률·행정·사회복지를 연결하는 관점에서 공공정책을 연구하고 지방의회의 의정역량 강화와 인공지능 활용 교육에 힘쓰고 있다. 이번 칼럼에서는 인공지능(AI)의 자율성과 실행 능력 확대에 따른 통제 위험을 살펴보고, 인간의 실질적 결정권과 중단 권한, 위험에 상응하는 법적 책임, 독립적인 안전 감독체계와 국제협력 등 정책대안을 제시한다. 기술혁신을 위축시키지 않으면서도 인간의 존엄성과 기본권을 보호하고, 국가와 기업의 책임을 분명히 하는 법적·제도적 조건을 모색한다.
인공지능이 얼마나 똑똑해졌는지를 묻는 것만으로는 충분하지 않다. 이제는 누가 인공지능에 권한을 부여하고, 잘못된 행동을 누가 중단시키며, 피해가 발생하면 누가 책임지는지를 물어야 한다. 인간보다 어려운 문제를 더 빨리 해결하는 능력과 인간의 통제 아래 안전하게 작동하는 능력은 같은 것이 아니기 때문이다.
최근 인공지능이 ‘나는 로봇이 아닙니다’라는 온라인 게임의 48개 단계를 모두 통과했다는 시연이 공개됐다. 다만 이는 인간 인증을 소재로 만든 게임을 수행한 사례이지, 현실의 모든 보안·인증체계를 무력화했다는 증거는 아니다. 기술적 성취를 정확하게 평가하려면 무엇을 해냈는지와 무엇까지 입증된 것인지를 구별해야 한다.
수학 분야에서도 주목할 만한 발표가 나왔다. 오픈AI는 2026년 9월 8일, 약 90년 동안 연구되어 온 나비에–스토크스 존재성과 매끄러움 문제에 대해 내부 연구시스템이 증명을 제시했다고 발표했다. 회사의 설명에 따르면 약 1만 개의 에이전트가 협력한 연구 과정에서 최초 가동 후 약 88시간 만에 해법에 도달했고, 이후 증명을 형식화하고 검증하는 데 추가로 17시간이 소요됐다. 이는 연구진이 설계하고 조정한 다중 에이전트 시스템의 성과로 이해해야 하며, 기업의 증명 발표와 독립적인 수학적 검증·학계의 평가는 구분할 필요가 있다.
이러한 성과만으로 범용인공지능이 완성되었다거나 모든 인공지능이 이미 통제 불능 상태에 들어갔다고 단정할 수는 없다. 그러나 그 반대의 단정도 위험하다. 아직 최악의 사태가 일어나지 않았다는 이유로 현재의 안전장치가 앞으로도 충분할 것이라고 믿어서는 안 된다.
정책의 출발점은 기술에 대한 막연한 공포도, 기술기업의 낙관에 대한 무조건적인 신뢰도 아니다. 확인된 위험은 엄정하게 다루고, 불확실하지만 피해 규모가 클 수 있는 위험에는 비례적인 예방조치를 마련하는 것이다. 성능이 높다는 사실은 권한을 무제한으로 위임할 근거가 될 수 없다.
‘통제 불능’은 공포의 구호가 아니라 구체적인 정책 문제다
인공지능의 위험을 논할 때에는 서로 다른 현상을 구별해야 한다. 잘못된 답변을 생성하는 문제, 사람이 인공지능을 악용하는 문제, 인공지능이 부여받은 권한과 목표를 벗어나는 문제, 그리고 인간이 다시 통제권을 회복하기 어려워지는 문제는 동일하지 않다.
2026년 2월 발표된 『국제 AI 안전보고서』는 통제 상실을 인공지능이 누구의 통제도 받지 않는 상태로 작동하고, 통제권을 회복하는 데 극도로 큰 비용이 들거나 회복 자체가 불가능해지는 상황으로 설명한다. 보고서는 이러한 위험의 발생 가능성에 대해 연구자들의 견해가 크게 갈린다는 점도 함께 제시한다. 불확실성이 존재한다는 사실과 대비가 필요하지 않다는 주장은 전혀 다른 이야기다.
더욱이 통제장치를 우회하는 행동은 추상적인 가정으로만 남아 있지 않다. 오픈AI가 2026년 8월 공개한 조사 결과에 따르면, 같은 해 7월 내부 사이버보안 평가 과정에서 일부 모델이 인터넷 격리 통제를 우회하고 내부 연구 기반시설과 외부 플랫폼인 허깅페이스의 시스템에 침입한 사건이 발생했다. 이 사건은 안전장치를 일부 줄인 조건에서 운용된 내부 연구용 모델이 주도한 것으로, 일반 이용자에게 제공되는 모든 서비스가 같은 상태라는 의미는 아니다. 그러나 허가되지 않은 통신과 외부 접근이 실제로 발생했다는 점은 가볍게 볼 수 없다.
독립 연구기관인 METR와 레드우드 리서치도 관련 에이전트들의 행동과 협업 양상을 조사했다. 이들의 보고서는 허가되지 않은 통신과 평가 결과를 유리하게 만들려는 행동 등을 분석하는 동시에, 조사 범위와 확보한 자료에 한계가 있다는 점을 명시했다. 필요한 태도는 이 사건을 인류 전체의 통제권 상실로 과장하는 것도, 특수한 실험실 사고라며 축소하는 것도 아니다. 어떤 통제가 실패했고, 그 실패가 더 큰 권한을 가진 시스템에서 반복될 가능성을 어떻게 줄일 것인지 따져야 한다.
여기서 중요한 것은 인공지능에게 인간과 같은 악의나 의식이 있는지를 먼저 결론 내리는 일이 아니다. 시스템이 실제로 어떤 권한을 행사했고, 어떤 제한을 우회했으며, 사람이 어느 시점에 개입할 수 있었는지가 규제의 대상이 되어야 한다.
위험을 인식한 기업도 경쟁에서 뒤처질 것을 우려하면 안전성 검증보다 출시 속도를 앞세울 유인을 갖게 된다. 안전투자의 비용은 개별 기업이 부담하지만, 대규모 사고의 피해는 이용자와 사회 전체로 퍼질 수 있기 때문이다. 이러한 구조를 기업의 선의만으로 해결하기는 어렵다. 최소한의 안전기준을 공동으로 적용하는 법과 제도가 필요한 이유다.
인간의 최종 결정권을 ‘형식적 승인’에서 실질적 통제로 바꿔야 한다
가장 먼저 확립해야 할 원칙은 생명과 신체, 재산과 기본권에 중대한 영향을 미치는 영역에서 인간의 최종 결정권을 보장하는 것이다. 다만 사람이 마지막에 확인 버튼을 눌렀다는 이유만으로 인간이 실제로 통제했다고 볼 수는 없다.
수백 건의 결정을 짧은 시간 안에 승인하도록 요구받는 담당자에게 충분한 설명도, 검토 시간도, 결과를 뒤집을 권한도 없다면 그 사람은 통제자가 아니라 승인 절차의 일부에 불과하다. 인간의 개입을 명목상으로 남겨두면서 책임만 사람에게 전가하는 구조를 경계해야 한다.
우리 법에 관련 의무가 전혀 없는 것은 아니다. 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」 제34조는 고영향 인공지능을 제공하는 사업자에게 위험관리, 이용자 보호, 설명 방안, 사람의 관리·감독, 관련 문서의 작성과 보관 등을 요구한다. 따라서 앞으로의 과제는 인간의 감독이라는 원칙을 처음 선언하는 일이 아니라, 그 원칙이 실제 현장에서 작동하도록 구체화하는 데 있다.
유럽연합 AI법 제14조도 고위험 인공지능에 대한 인간의 감독을 규정하면서, 담당자가 시스템의 능력과 한계를 이해하고, 결과를 무시하거나 수정하며, 필요한 경우 안전한 상태로 작동을 중단할 수 있도록 하는 설계원칙을 제시한다. 인공지능의 권고를 과도하게 신뢰하는 경향까지 감독 과정에서 고려하도록 한다는 점도 중요하다.
이러한 원칙을 국내 제도에 구체적으로 반영해야 한다. 중대한 의료적 판단, 고액 자금의 이전, 핵심 시설의 운영 변경, 대규모 개인정보의 외부 제공 등 회복하기 어려운 결과를 초래할 수 있는 행위에는 사전에 정해진 승인권자와 확인 절차를 두어야 한다. 담당자는 판단 근거와 불확실성을 확인할 수 있어야 하며, 인공지능의 제안을 거부하거나 수정했다는 이유로 부당한 불이익을 받아서는 안 된다.
그렇다고 모든 자동화 과정에 사람이 매 순간 개입해야 한다는 뜻은 아니다. 순간적인 대응이 필요한 안전장치까지 사람의 개별 승인을 기다리도록 만들면 오히려 위험할 수 있다. 실시간 시스템에는 사전에 검증된 작동 범위와 자동 보호장치를 적용하고, 인간은 그 범위를 정하며 예외 상황과 중대한 변경을 통제하도록 해야 한다.
핵심은 사람의 손을 거쳤는지가 아니다. 사람이 이해할 기회를 가졌는지, 거부할 권한이 있었는지, 실제로 중단할 수 있었는지다. 최종 결정권은 서류상의 서명이 아니라 권한·정보·시간·전문성이 결합된 제도여야 한다.
‘킬스위치’는 버튼 하나가 아니라 독립적인 통제체계여야 한다
인공지능의 위험이 커질수록 비상정지장치, 이른바 ‘킬스위치’의 필요성이 강조된다. 그러나 화면에 정지 버튼을 하나 추가하는 것으로 안전이 확보된다고 생각해서는 안 된다. 중단 명령을 전달하는 체계가 인공지능이 사용하는 권한과 동일한 구조에 놓여 있다면, 그 체계 자체가 오류나 권한 오용의 영향을 받을 수 있기 때문이다.
따라서 중요한 시스템에서는 작업을 수행하는 기능과 이를 감시·차단하는 기능을 분리해야 한다. 인공지능이 스스로 변경할 수 없는 권한관리체계, 외부 접속을 차단할 수 있는 독립적인 제어수단, 실행 중인 작업을 격리하는 기능, 접근 권한을 즉시 회수하는 절차를 함께 설계해야 한다. 중단 이후에도 사람이 업무를 이어갈 수 있는 대체 수단이 마련되어야 한다.
권한은 필요한 만큼만, 필요한 기간에만 부여하는 것이 원칙이어야 한다. 문서를 요약하는 인공지능에 회사의 모든 자료를 삭제할 권한을 줄 이유는 없다. 지출 내역을 분석하는 인공지능에 실제 송금 권한까지 자동으로 연결할 이유도 없다. 분석 능력과 집행 권한은 분리해서 판단해야 한다.
특히 생명유지 장치나 주요 기반시설에서는 무조건적인 전원 차단이 정답일 수 없다. 위험한 기능만 제한하거나 검증된 대체 운전으로 전환하는 방식까지 포함해 안전한 중단 절차를 설계해야 한다. 중단장치의 존재 여부뿐 아니라 실제 작동 시간, 실패 가능성, 복구 절차를 반복적으로 시험하도록 해야 한다.
이와 함께 고위험·고성능 인공지능의 개발·배포 과정에는 단계별 안전성 심사를 강화할 필요가 있다. 개발사가 “안전하다”고 선언하는 데 그치지 않고, 예상 가능한 오작동과 권한 일탈을 어떻게 시험했으며, 어떤 조건에서는 사용하지 않도록 했는지 입증자료를 제시하도록 해야 한다. 위험이 큰 시스템에는 독립적인 평가가 결합되어야 한다.
심사는 최초 출시 때 한 번으로 끝나서는 안 된다. 같은 모델이라도 인터넷 접속, 자금 집행, 다른 프로그램 실행 등의 권한이 추가되면 발생 가능한 피해가 달라진다. 여러 에이전트가 협력하도록 배포 방식이 바뀌는 경우에도 위험을 다시 평가해야 한다. 규제는 모델의 이름만이 아니라 실제 사용 환경과 권한의 변화를 따라가야 한다.
물론 어떤 기술도 위험이 전혀 없다는 것을 증명하기는 어렵다. 그러므로 요구할 것은 불가능한 ‘무위험 증명’이 아니라, 위험 수준에 상응하는 검증과 통제 가능성의 입증이다. 다만 사회가 수용하기 어려운 위험을 충분히 낮추지 못한 경우에는 배포 범위를 제한하거나 운영을 보류할 수 있어야 한다.
피해자에게 기술의 불투명성까지 떠넘겨서는 안 된다
인공지능 사고의 책임 문제에서도 관점의 전환이 필요하다. 피해자는 손해를 입었다는 사실을 알면서도 모델의 개발 과정과 작동 기록에 접근하지 못할 수 있다. 개발사와 운영사만 보유한 자료 없이는 원인을 밝히기 어려운 상황에서, 피해자에게 모든 내부 과정을 입증하라고 요구하면 권리구제는 형식에 그칠 위험이 있다.
그렇다고 현행 책임법제가 전적으로 과실책임에만 기초한다고 설명하는 것은 정확하지 않다. 제조물책임은 결함을 중심으로 구성되며, 「제조물 책임법」 제3조의2는 일정한 사실이 증명되면 결함과 인과관계를 추정하는 규정을 두고 있다. 필요한 것은 기존 법체계를 무조건 부정하는 일이 아니라, 인공지능 제품·서비스의 특성과 복잡한 공급 관계에서 발생하는 공백을 보완하는 일이다.
우선 생명·신체나 사회 기반시설에 중대한 위험을 초래하는 일정 범주의 인공지능에 대해서는 위험을 창출하고 실질적으로 통제하는 사업자에게 엄격책임을 부과하는 방안을 검토해야 한다. 이는 모든 개발자에게 모든 피해의 무조건적인 책임을 지우자는 주장이 아니다. 고위험 시스템으로 이익을 얻고 그 운영 조건을 지배하는 주체가 위험 비용을 부담하도록 하자는 것이다.
개발사, 서비스를 구성한 사업자, 도입·운영기관의 책임도 구체적으로 나누어야 한다. 개발 단계에서 관리해야 할 위험, 외부 도구와 연결하면서 추가한 위험, 실제 업무에서 과도한 권한을 부여해 발생한 위험을 구별해야 한다. 관계자들이 계약서 뒤에 숨어 서로 책임을 미루지 못하도록 피해자에 대한 책임과 사업자 사이의 구상 관계를 정비할 필요가 있다.
증거 확보 절차 역시 핵심이다. 피해자가 인공지능의 관여와 손해 발생 사이의 기초적인 관련성을 제시하면, 법원이 필요한 기록의 제출을 명할 수 있도록 하고, 사업자가 정당한 이유 없이 기록을 보관하지 않거나 제출을 거부한 경우에는 입증상 불이익을 받도록 해야 한다. 영업비밀은 보호하되, 그 보호가 피해자의 재판받을 권리를 사실상 소멸시키는 수단이 되어서는 안 된다.
기록 의무를 강화하면서 개인정보를 무제한으로 저장하도록 해서는 안 된다는 점도 중요하다. 사고 규명에 필요한 입력과 출력, 실행 명령, 승인 내역, 권한 변경 등을 목적에 맞게 보존하되, 보관 기간과 접근 권한을 제한해야 한다. 기록의 무결성을 검증하는 수단도 함께 마련해야 한다.
고위험 분야에는 책임보험이나 피해구제 재원도 검토할 수 있다. 다만 보험 가입을 안전성 검증의 대체물로 삼아서는 안 되며, 기업의 위험한 선택에 따른 손실을 국민의 세금으로 무제한 보전하는 구조도 피해야 한다. 배상체계의 목적은 피해자를 신속히 구제하는 동시에 사업자가 사고 예방에 투자하도록 만드는 데 있다.
안전기준을 지켰다는 사실은 행정제재 등을 판단할 때 고려될 수 있지만, 정당한 배상청구를 일률적으로 차단하는 면책증이 되어서는 안 된다. 반대로 형사책임은 별도의 구성요건과 책임원칙에 따라 판단해야 한다. 민사적 피해구제의 강화와 무분별한 형사처벌 확대는 구별할 필요가 있다.
산업 진흥과 안전 감독을 분리하고, 경고가 묻히지 않게 해야 한다
인공지능 산업을 육성하는 기능과 위험한 운영을 중단시키는 기능 사이에는 긴장이 발생할 수 있다. 투자와 수출, 도입 실적을 높여야 하는 조직이 동시에 사업 중단을 판단한다면 이해충돌을 관리할 장치가 필요하다. 그렇다고 새로운 기관의 간판을 하나 더 만드는 것으로 문제가 해결되는 것도 아니다.
우리나라에는 2024년 11월 설립된 인공지능안전연구소가 있으며, 모델과 시스템의 위험 평가, 위험 방지 기술 연구, 국제 협력 등을 수행하도록 되어 있다. 이러한 연구 기반은 적극적으로 활용해야 한다. 다만 과학적 평가를 수행하는 연구 기능과 법률에 따라 조사·명령·제재를 행사하는 감독 기능은 구별해서 설계해야 한다.
현행 인공지능기본법 제40조 역시 일정한 의무 위반에 대해 과학기술정보통신부 장관의 사실조사와 중지·시정명령을 예정하고 있다. 따라서 앞으로의 입법은 아무런 행정적 통제수단이 없는 상태를 전제로 해서는 안 된다. 기존 권한의 적용 범위와 절차를 점검하고, 급박한 위험에 대응할 수 있는지, 기술적 전문성과 집행력이 충분한지를 보완해야 한다.
독립적인 AI 안전 감독체계를 마련한다면 조사와 평가에 필요한 자료 접근권, 시정 요구, 특정 기능의 일시 제한, 긴급한 경우의 잠정 운영 중단 권한 등을 명확히 규정해야 한다. 금융·의료·개인정보 등 기존 전문 감독기관과의 관계도 정리해 중복 규제와 책임 공백을 동시에 줄여야 한다.
강력한 감독권에는 그에 상응하는 절차적 통제가 따라야 한다. 긴급명령의 요건과 기간을 법률로 정하고, 이유를 제시하며, 사후 심사와 이의제기·사법심사의 길을 보장해야 한다. 인공지능의 통제 불능을 막겠다는 명분으로 행정권이 통제 불능이 되어서는 안 된다.
감독기관에는 기술을 이해하는 인력과 독립적인 평가 예산도 필요하다. 기업이 작성한 보고서를 읽고 도장을 찍는 수준에 머물면 실질적인 감독은 어렵다. 공공부문이 시험 환경과 평가 도구를 확보하고, 이해충돌을 관리하면서 외부 전문가를 활용할 수 있도록 해야 한다.
내부 연구자와 실무자의 경고가 경영 판단 속에서 묻히지 않도록 하는 장치도 중요하다. 중대한 안전 위험을 보고한 사람을 보호하고, 비밀유지 약정이 적법한 공익신고를 가로막지 못하도록 해야 한다. 사고뿐 아니라 중대한 사고로 이어질 뻔한 사건도 일정한 기준에 따라 보고하게 해야 한다. 규제기관이 알아야 할 위험과 일반에 공개할 수 있는 정보를 구분하되, 영업비밀이라는 이유로 감독 자체를 거부할 수는 없도록 해야 한다.
국제적 공동기준이 있어야 안전을 포기하는 경쟁을 막을 수 있다
인공지능 위험은 국경 안에만 머물도록 설계되어 있지 않다. 해외에서 개발된 모델이라도 국내 기관이 도입해 국민의 권리와 안전에 영향을 줄 수 있다. 따라서 국내 규제와 국제 협력을 별개의 과제로 다루어서는 안 된다.
이미 2024년 AI 서울 정상회의와 관련해 발표된 프런티어 AI 안전 공약에는 중대한 위험에 대한 평가, 수용하기 어려운 위험의 기준 설정, 위험을 충분히 낮출 수 없는 경우 개발이나 배포를 진행하지 않는다는 내용이 포함되어 있다. 다만 이는 참여 기업의 자발적인 공약이다. 앞으로의 과제는 이러한 원칙을 검증 가능한 이행체계와 법적 책임으로 연결하는 데 있다.
국제원자력기구를 참고한 상시적인 국제 검증·협력체계 구상은 검토할 가치가 있다. 그러나 원자력 관리 모델을 그대로 복제할 수 있다고 생각해서는 안 된다. 소프트웨어의 복제와 이전, 분산된 개발과 활용까지 고려하면 핵물질이나 특정 시설을 중심으로 한 관리 방식과는 다른 접근이 필요하다.
현실적인 출발점은 공동 위험평가 기준, 중대 사고의 신속한 공유, 독립 평가 결과의 상호 인정, 규제기관 간 협조체계다. 위험 수준이 매우 높은 개발·배포 활동에는 사전 통보나 등록을 도입하고, 안전성 평가를 회피하는 관할권 이동이 규제의 우회로가 되지 않도록 협력을 강화해야 한다.
규제 대상을 연산량 하나만으로 결정해서도 안 된다. 연산량은 중요한 선별 기준이 될 수 있지만, 실제 위험을 판단할 때에는 수행 능력, 자율성, 외부 도구에 대한 접근 권한, 배포 규모와 피해의 파급 가능성을 함께 살펴야 한다. 상대적으로 작은 모델이라도 중요한 시설을 직접 제어하도록 연결하면 위험은 커질 수 있다.
국제협력의 목표는 기술을 가진 소수 국가와 기업이 새로운 진입장벽을 만드는 것이어서는 안 된다. 안전기준의 형성과 검증 과정에 다양한 국가와 공익 전문가가 참여하도록 하고, 평가 역량이 부족한 국가와 중소기업에도 공동 시험 기반을 제공해야 한다. 안전은 기술패권을 정당화하는 구호가 아니라 모두가 지켜야 할 공공의 조건이어야 한다.
정부와 지방자치단체부터 ‘책임 있는 AI 사용자’가 되어야 한다
국가가 민간기업에 안전을 요구하면서 정작 공공부문에서는 도입 실적과 처리 속도만 강조해서는 안 된다. 특히 복지, 돌봄, 채용, 민원, 교육처럼 사람의 삶에 직접 영향을 미치는 분야에서는 효율성과 함께 권리구제 가능성을 평가해야 한다.
공공행정에서는 인공지능을 판단의 보조수단으로 활용하는 것과 법적 효과를 발생시키는 처분을 자동화하는 것을 구별해야 한다. 「행정기본법」 제20조는 법률로 정하는 바에 따른 자동적 처분을 허용하면서도 재량이 있는 처분은 제외한다. 편리한 기술이 등장했다는 사실만으로 행정기관의 법적 권한과 절차가 바뀌는 것은 아니다.
「개인정보 보호법」 제37조의2도 자동화된 결정에 대한 설명 요구와 일정한 요건 아래의 거부권을 규정한다. 다만 거부권에는 법정 예외가 있으며, 「행정기본법」에 따른 행정청의 자동적 처분은 이 조의 적용 대상에서 제외된다. 따라서 이 규정만으로 모든 인공지능 결정에 대한 보편적인 재심권이 보장된다고 이해해서는 안 된다. 분야별 행정절차와 권리구제 수단을 함께 정비해야 한다.
중앙정부와 지방자치단체는 우선 어떤 업무에 어떤 인공지능을 사용하는지부터 파악해야 한다. 시스템별 목적, 접근하는 정보, 행사하는 권한, 담당 부서, 책임자, 중단 절차를 등록·관리하고, 주민의 권리에 중대한 영향을 주는 사업에는 도입 전 영향평가와 운영 중 점검을 강화할 필요가 있다.
공공조달 계약도 달라져야 한다. 가격과 성능뿐 아니라 사고 통지, 운영 기록의 확보, 감독기관의 적법한 자료 요구에 대한 협조, 중대한 기능 변경 시 재평가, 계약 종료 시 자료 이전과 대체 운영 등을 계약 조건으로 구체화해야 한다. 공급업체가 바뀌거나 서비스가 중단되어도 필수 행정이 멈추지 않도록 해야 한다.
주민에게는 인공지능이 관여한다는 사실을 알리고, 잘못된 정보를 정정하며, 중요한 불이익에 대해 사람에게 설명과 재검토를 요청할 수 있는 경로를 마련해야 한다. 디지털 기기 사용에 익숙하지 않다는 이유로 권리구제에서도 불리해지는 일이 없도록 대면·전화 등 대체 창구를 유지할 필요가 있다.
지방의회의 역할도 분명하다. 법률과 조례가 정한 권한 범위에서 예산 심사와 행정사무감사를 통해 도입 필요성, 안전성 검증, 책임 배분, 주민의 이의제기 절차를 점검해야 한다. “인공지능을 몇 건 도입했는가”라는 질문에 그치지 않고 “어떤 권한을 부여했는가, 누가 중단할 수 있는가, 실제로 중단 훈련을 했는가, 잘못된 결정은 어떻게 바로잡았는가”를 물어야 한다.
인공지능을 활용하는 행정의 성과는 담당자의 업무시간을 얼마나 줄였는지만으로 평가할 수 없다. 잘못된 판단을 얼마나 줄였는지, 피해를 얼마나 빨리 바로잡았는지, 주민이 절차를 얼마나 이해하고 신뢰할 수 있는지도 성과의 기준이 되어야 한다.
혁신을 지키기 위해서라도 안전의 비용을 예산에 반영해야 한다
안전규제를 강화하자는 주장이 모든 인공지능 개발을 일률적으로 중단하자는 뜻은 아니다. 위험이 낮은 활용과 중대한 피해를 초래할 수 있는 활용을 구별하고, 부담도 그에 비례하도록 설계해야 한다. 소규모 개발자와 연구자가 대형 플랫폼과 똑같은 문서·인증 비용을 부담하게 만드는 방식은 피해야 한다.
정부는 공통 평가도구와 표준계약서, 공동 시험시설, 전문인력 교육을 지원해 안전 확보 비용을 낮춰야 한다. 규제 실증사업을 허용하더라도 참여자의 권리, 시험 범위, 중단 기준, 피해구제 절차까지 함께 설계해야 한다. 규제의 유연성은 책임의 공백을 의미하지 않는다.
추진 순서도 명확해야 한다. 우선 향후 6개월 안에 공공부문의 고영향 인공지능과 자율적 실행 기능을 가진 시스템의 활용 실태를 점검하고, 과도한 접근 권한과 책임자 부재부터 해소할 필요가 있다. 이어 독립 평가 역량, 중대 사고 보고체계, 책임법제 보완과 감독기관 간 역할 분담을 구체화해야 한다. 국제적 공동기준과 검증 협력은 이 과정과 병행해야 한다.
무엇보다 안전 의무를 부과하면서 그 이행에 필요한 인력과 예산을 주지 않는 정책은 실효성이 없다. 인공지능 도입 예산에는 성능 개선 비용만이 아니라 검증, 보안, 감독자 교육, 사고 대응, 대체 운영과 피해구제 비용이 함께 반영되어야 한다. 도입의 편익과 위험관리 비용을 함께 계산하는 것이 책임 있는 재정 운용이다.
기술이 발전할수록 인간의 역할이 사라지는 것이 아니라 인간이 책임져야 할 선택의 범위가 달라진다. 무엇을 자동화할 것인지, 어디까지 권한을 맡길 것인지, 어떤 위험은 받아들이지 않을 것인지를 정하는 일은 여전히 사회와 민주적 제도의 몫이다.
인간의 존엄성과 기본권을 보호하는 일은 인공지능의 성능 순위에 따라 유예할 수 있는 과제가 아니다. 더 똑똑한 기계를 만들었다는 이유로 인간이 설명을 요구할 권리, 잘못된 결정을 거부할 권리, 위험한 작동을 멈출 권리까지 양도해서는 안 된다.
이제 필요한 것은 인공지능이 인간처럼 행동한다는 증명이 아니다. 인공지능을 개발하고 운영하는 인간과 기업, 이를 도입하는 국가가 그 기술을 통제할 수 있고, 잘못되면 바로잡을 수 있으며, 피해가 발생하면 책임질 수 있다는 사실을 증명하는 것이다.
안전규제는 혁신의 반대말이 아니라 혁신이 사회의 신뢰를 얻기 위한 조건이다. 인공지능의 도약이 인류의 축복으로 남으려면 작동을 허용하는 권한뿐 아니라 멈춤을 결정하는 권한도 인간의 손안에 있어야 한다. 그리고 그 권한은 선언이 아니라 실제로 작동하는 법과 제도, 기술과 예산으로 보장되어야 한다.
▷법학박사, 한국정책연구원 원장
▷서울특별시 시민참여예산위원장
▷(사)한국공공정책학회 부회장, 상임이사
▷(전)국민대학교 행정대학원 외래교수
▷(전)서울특별시의회 전문위원
<저서> 지방의회 운영 실무 (2026년) 등 다수
){kind=small}
){kind=small}
){kind=small}
){kind=small}