공공기관 AX의 현실｜개인정보·망분리·조달을 함께 푸는 방법
공공기관 AX는 생성형 AI 계정을 구매하는 것으로 끝나지 않는다. 민원·복지·세무·인사 문서에는 보호해야 할 정보가 많고, 답변 하나가 시민의 권리와 행정 신뢰에 영향을 줄 수 있다. 내부망만 고집하면 최신 외부정보 활용이 어려워지고, 외부 AI만 쓰면 민감정보 입력과 권한 통제가 문제가 된다. 그래서 현실적인 출발점은 모델 선정이 아니라 문서의 최신성, 보안등급, 사용자 접근권한, 답변 근거와 최종 확인자를 다시 설계하는 일이다.
- 공공 AX의 우선 과제는 내부 문서 정비와 근거를 보여주는 검색 체계다.
- 보안 업무는 내부 LLM, 일반 검색은 외부 AI로 나누는 이원화가 가능하다.
- 지자체가 발표한 만족도·절감액은 자체 측정치이며 일반 효과가 아니다.
- 개인정보, 망분리, 조달·운영비, 권한 상속과 사람 책임을 함께 검토해야 한다.
황동 자물쇠로 잠긴 철망 안의 단색 금속 블록 세 개로 공공기관 AI의 보안과 권한을 설명하는 이미지. ※ 생성형 AI로 만든 이해용 이미지이며, 실제 기업·기관 현장 기록 사진이 아닙니다.
왜 민간 서비스보다 한 단계 더 복잡한가
공공업무에는 공개자료 검색부터 비공개 인사 기록, 민감한 복지 상담, 처분과 결재까지 서로 다른 위험 수준이 한 조직 안에 섞여 있다. 하나의 챗봇에 모든 문서를 연결하면 사용자가 원래 볼 수 없던 자료가 검색될 수 있다. 반대로 공개 문서만 넣으면 실제 업무 질문에 답하지 못해 활용도가 떨어진다. 문서 단위 보안등급과 원문 시스템의 권한을 검색 결과에도 상속하는 구조가 먼저 필요하다.
정확도도 단순 정답률로 끝나지 않는다. 법령과 지침은 시행일, 관할, 예외조항이 중요하고, 같은 질문이라도 시민의 사실관계에 따라 답이 달라진다. RAG는 근거 문서를 찾아 환각을 줄일 수 있지만 오래된 문서나 잘못된 권한을 고치지는 못한다. 답변에 문서명과 기준일을 표시하고 담당 공무원이 최종 확인하도록 해야 한다.
빈 금속 트레이 사이의 반투명 유리 칸막이로 공공기관 AI의 보안과 권한을 설명하는 이미지. ※ 생성형 AI로 만든 이해용 이미지이며, 실제 기업·기관 현장 기록 사진이 아닙니다.
서울시 사례: 내부망 자체 LLM과 외부 AI를 나누다
서울시는 2025년 내부망에 자체 LLM을 도입해 일부 부서에서 시범운영을 시작했다. 내부 문서 검색, 규정 확인, 보고서·보도자료 초안, 부서별 챗봇 등이 대상이다. 시는 H200 GPU 8개를 장착한 서버 1대를 2025년에 도입하고 다음 해까지 서버 3대를 추가 확보하는 계획을 공개했다. 2025년 6월 직원 342명 설문에서는 문서 초안 23%, 문서 요약·정리 20%, 내부 문서 질의응답 16%가 희망 활용 업무로 나타났다.
전문가 자문은 자체 LLM이 보안과 신뢰성 측면에서 적절하다고 보면서도 대시민 서비스를 포함한 전면 확산은 단계적으로 접근해야 한다고 지적했다. 폐쇄망 모델은 내부정보 보호에 유리하지만 최신 웹 정보와 다양한 모델 기능을 즉시 쓰기 어렵다. 따라서 모든 업무를 하나의 환경에 몰기보다 보안이 필요한 문서는 내부망, 공개 정보검색과 아이디어 도출은 통제된 외부 환경으로 분리하는 선택이 현실적이다.
황동 자물쇠로 잠근 투명 상자 안의 무문자 카드와 상자 밖의 열쇠 두 개로 공공기관 AI의 보안과 권한을 설명하는 이미지. ※ 생성형 AI로 만든 이해용 이미지이며, 실제 기업·기관 현장 기록 사진이 아닙니다.
서울AI챗의 성과 숫자는 조건과 함께 읽는다
서울시는 2025년 9월부터 29종 생성형 AI를 사용량 기반으로 총괄 과금하는 서울AI챗을 운영했다. 2025년 12월 기준 6,318명, 본청 직원의 63% 이상이 이용했고 만족도 89%, 지속 필요 응답 95%였다고 발표했다. 내부 사례에서는 보고서 작성이 평균 3~4시간에서 약 1시간, 자료조사가 1~3시간에서 약 30분으로 줄었다고 소개했다.
운영비 약 5,500만 원과 동일 인원의 개인 구독 지원비 추산액 약 7억6,000만 원을 비교해 약 7억 원의 절감 효과도 발표했다. 이 수치는 서울시의 사용량과 가정에 따른 자체 계산이다. 무작위 대조 실험이나 모든 업무에 공통으로 적용되는 생산성 수치가 아니며, 문서 검수시간과 내부 인프라·보안 운영비가 같은 비교 범위에 포함됐는지도 원문 공개 정보만으로는 판단하기 어렵다. 기관은 좌석 수보다 실제 사용량, 결과 품질, 재작업시간을 함께 측정해야 한다.
서로 떨어진 금속 트레이 두 개와 닫힌 금속 상자로 공공기관 AI의 보안과 권한을 설명하는 이미지. ※ 생성형 AI로 만든 이해용 이미지이며, 실제 기업·기관 현장 기록 사진이 아닙니다.
270종 업무매뉴얼 RAG가 알려주는 운영 조건
서울시는 2026년 5월 직원용 내부 LLM과 시민용 서울톡을 포함한 챗봇 2.0을 가동했다고 밝혔다. 270종 행정 업무매뉴얼을 RAG로 연결해 답변과 출처를 함께 제공하고, 보안 업무는 내부 LLM, 일반 정보검색은 외부 서울AI챗이 맡는 구조다. 시민용 서울톡은 기존 시나리오형 챗봇에 서울시 누리집과 외부 웹 검색을 연결했다.
중요한 것은 문서 수보다 갱신 절차다. 업무매뉴얼이 개정됐을 때 누가 색인을 다시 만들고, 폐기 문서를 제외하며, 답변의 기준일을 점검할지 정해야 한다. 인사정보와 교육과정을 연계해 추천·신청을 돕는 AI 에이전트는 2026년 말 시범 적용 계획으로 공개됐다. 2026년 5월 현재 완전 운영 중인 자동 실행 사례로 쓰면 안 된다. 계획과 운영, 보조와 최종 결정을 구분하는 것이 공공 AI 평가의 기본이다.
자물쇠로 잠근 철망 열쇠함과 닫힌 장비 케이스로 공공기관 AI의 보안과 권한을 설명하는 이미지. ※ 생성형 AI로 만든 이해용 이미지이며, 실제 기업·기관 현장 기록 사진이 아닙니다.
개인정보·권한·조달과 비용의 숨은 과제
민원과 복지 자료를 외부 AI에 넣기 전에는 개인정보 종류와 처리 목적, 적법 근거, 저장 위치, 재학습 사용, 보존과 삭제를 확인해야 한다. 입력 필터가 주민번호 같은 형식을 차단해도 문맥 속 민감정보, 프롬프트 공격, 권한 과다부여까지 자동 해결하지는 않는다. 조회권한과 변경권한을 나누고, 민원 처분·인사·결재처럼 영향이 큰 실행은 사람 승인을 거쳐야 한다.
조달 단계에서는 모델 정확도만 비교할 것이 아니라 데이터 반출, 장애 대응, 로그 보존, 공급사 변경 시 자료 이전, API 단가와 GPU 감가, 보안인력과 문서 정비비를 묶어 봐야 한다. 행정안전부는 2026년 공공 AI 사업을 기획·예산·계약·구축·운영의 5단계로 표준화한 가이드를 배포하고, 기관별 중복 구축을 줄이는 범정부 공통기반과 RAG 우선 전략을 제시했다. 공동기반도 기관별 권한과 책임까지 대신 정해주지는 않는다.
황동 자물쇠로 잠긴 철망 패널 옆에 감아 둔 파란 케이블로 공공기관 AI의 보안과 권한을 설명하는 이미지. ※ 생성형 AI로 만든 이해용 이미지이며, 실제 기업·기관 현장 기록 사진이 아닙니다.
작게 시작하는 공공 AX 체크리스트
- 공개·내부·민감 문서를 구분하고 원문 소유부서를 지정한다.
- 검색 결과가 원문 시스템의 사용자 권한을 그대로 상속하게 한다.
- 답변마다 근거 문서, 버전과 기준일을 확인할 수 있게 한다.
- 외부 AI 입력 단계에서 개인정보와 비공개정보를 탐지·차단한다.
- 초안·요약과 처분·결재 실행을 분리하고 후자는 사람 승인으로 제한한다.
- 모델료 외에 GPU·연동·보안·문서정비·교육·운영비를 계산한다.
- 시범사업 전후의 처리시간, 오류, 재작업, 민원 지표를 같은 기준으로 잰다.
작업대 위에 세운 반투명 유리판으로 공공기관 AI의 보안과 권한을 설명하는 이미지. ※ 생성형 AI로 만든 이해용 이미지이며, 실제 기업·기관 현장 기록 사진이 아닙니다.
자주 묻는 질문
Q1. 공공기관은 외부 생성형 AI를 쓰면 안 되나?
A. 일괄 금지나 전면 허용보다 데이터 등급에 따른 분리가 필요하다. 공개 정보와 일반 아이디어는 통제된 외부 환경, 비공개·민감 문서는 권한이 적용된 내부 환경에서 처리하는 방식이 가능하다.
Q2. 자체 LLM이면 개인정보 문제가 해결되나?
A. 외부 전송 위험은 줄일 수 있지만 처리 목적, 접근권한, 보관기간, 오입력, 내부 오남용 문제는 남는다. 개인정보 생애주기 관리가 별도로 필요하다.
Q3. RAG를 쓰면 잘못된 행정 답변이 없어지나?
A. 아니다. RAG는 근거 검색을 돕지만 오래된 원문, 잘못된 권한, 예외조항 누락을 자동 해결하지 않는다. 출처 표시와 담당자의 최종 확인이 필요하다.
Q4. 공공 AX 예산은 모델 구독료만 비교하면 되나?
A. 문서 정비, 내부망 인프라, 연동, 보안 심사, 로그와 장애 대응, 직원 교육, 공급사 전환비까지 총소유비용으로 비교해야 한다.
작업대 위에 서로 떨어져 놓인 라벨 없는 단색 금속 큐브 세 개로 공공기관 AI의 보안과 권한을 설명하는 이미지. ※ 생성형 AI로 만든 이해용 이미지이며, 실제 기업·기관 현장 기록 사진이 아닙니다.
출처 및 확인 기준
서울시의 이용률, 만족도, 시간 및 비용 절감은 서울시 자체 조사와 계산으로 귀속했다. 생성 이미지는 실제 기관 현장 기록이 아니다.