AI가 사람의 질문에 답하는 수준을 넘어 실제 업무를 수행하기 시작하면 중요한 질문 하나가 따라온다. “얼마나 많은 일을 할 수 있는가”가 아니다. “얼마나 많은 일을 안전하게 맡길 수 있는가”다. 지난 8월 6일 알리바바의 기업용 AI Agent ‘첸원 오피스(千问办公·QwenWork)’가 화웨이 홍몽 PC용 애플리케이션 시장에 출시된 날, 중국신통원(中国信通院·CAICT)은 ‘인터넷 에이전트 거버넌스·오피스 에이전트 능력 평가’ 결과를 공개했다.

IT즈지아(IT之家)에 따르면 첸원 오피스는 이번 평가에서 16개 테스트 항목 모두 평가 기준을 충족했다. 이번 평가가 주목되는 이유는 단순히 하나의 AI 제품이 평가를 통과했기 때문이 아니다. 평가의 범위가 AI의 ‘말하기 능력’에만 머물지 않았기 때문이다. 지능형 상호작용과 멀티모달 능력, 전 시나리오 업무 실행, 보안 방어, Skills 관리가 함께 평가됐다. AI Agent가 기업 업무에 들어가기 위해서는 똑똑한 것만으로 부족하다는 의미다.

Agent는 챗봇보다 강력하고, 그만큼 위험하다. 챗봇은 잘못된 답을 내놓아도 사람이 그 답을 보고 다시 판단할 수 있다. Agent는 다르다. Agent는 파일을 읽고, 데이터를 처리하고, 외부 도구를 호출하고, 일정한 업무를 실행할 수 있다. 즉 AI의 판단이 실제 행동으로 이어진다. 이 차이는 기업 환경에서 더욱 중요하다. 기업 내부에는 고객 정보, 계약서, 재무자료, 인사자료, 기술문서 등 민감한 정보가 존재한다. AI가 이런 자료에 접근할 수 있다면 편리성은 높아진다.

하지만 접근 권한이 잘못 설정되거나 AI가 잘못된 명령을 수행하면 문제가 커진다. 악의적인 사용자가 AI에 잘못된 지시를 입력하거나 외부에서 유입된 콘텐츠가 Agent의 행동에 영향을 미칠 가능성도 고려해야 한다. 그래서 Agent 시대에는 ‘자율성’만큼 ‘통제 가능성’이 중요하다.

중국신통원이 평가한 것은 AI의 ‘실행 능력’이었다. 이번 중국신통원 평가에서는 네 가지 영역이 주요 기준으로 제시됐다.

첫째는 지능형 상호작용과 멀티모달 능력이었고, 둘째는 전 시나리오 업무 실행 능력이었으며, 셋째는 보안 방어였고, 넷째는 Skills 관리 능력이었다. 첸원 오피스는 멀티모달 처리, 데이터 처리와 분석, 협업 업무 적응, 데이터 보안과 개인정보 보호, 서비스 환경 보안, Skill 실행 신뢰성 등을 포함한 16개 테스트에서 모두 평가 기준을 충족했다. 이 평가가 의미하는 바는 분명하다.

기업용 Agent를 평가할 때 이제는 “무엇을 생성할 수 있는가”만으로는 부족하다는 것이다. “어떤 환경에서 실행되는가”, “어떤 데이터를 다루는가”, “업무를 얼마나 안정적으로 수행하는가”, “사용자가 이를 어떻게 통제할 수 있는가”까지 함께 살펴봐야 한다. AI가 업무에 가까워질수록 평가 기준도 업무에 가까워지고 있다.

기업용 AI의 핵심은 ‘자율성’이 아니라 ‘통제 가능한 자율성’이기 떄문이다. AI Agent를 설명할 때 흔히 ‘자율적으로 일을 수행한다’는 표현을 사용한다. 하지만 기업 현장에서 중요한 것은 무제한적인 자율성이 아니다. 통제 가능한 자율성이다. AI가 문서를 읽을 수 있도록 하되 모든 문서를 읽을 수 있게 할 필요는 없다. 결재를 지원할 수 있다고 해도 모든 결재를 AI가 독자적으로 처리하게 할 필요는 없다. 메일을 작성할 수 있다고 해서 사람의 확인 없이 외부에 발송하도록 허용해야 하는 것도 아니다.

업무의 위험도에 따라 AI의 권한을 달리 설계해야 한다. 단순 정보 검색은 자동화 수준을 높이고, 외부 발송이나 비용 지출, 계약 관련 업무처럼 위험이 큰 작업에는 사람의 승인을 요구하는 방식이다. 이런 구조가 자리 잡아야 Agent가 기업 안에서 실제로 사용될 수 있다. 첸원 오피스가 소개한 보안 체계도 이러한 방향과 맞닿아 있다. 알리바바 측은 단말과 클라우드를 연계하는 구조를 기반으로 인프라, 애플리케이션, 모델, Agent 런타임, 데이터, 확장 생태계 등에 걸친 방어 체계를 구축했다고 설명했다. 또한 Agent 특유의 위험으로 지적되는 프롬프트 인젝션과 도구 남용에 대응하기 위해 컨텍스트 격리, 실행 모니터링, 원클릭 중단 등의 기능을 제공한다고 밝혔다.

‘AI가 멈출 수 있는가’가 중요한 이유는 무엇일까? AI가 업무를 수행할 때 가장 중요한 기능 가운데 하나는 어쩌면 ‘실행’이 아니라 ‘중단’일 수 있다. AI가 잘못된 파일을 선택했을 때 멈출 수 있는가? 예상하지 못한 외부 도구를 호출하려 할 때 차단할 수 있는가? 민감한 데이터에 접근하려 할 때 권한을 확인할 수 있는가? 잘못된 결과를 만들었을 때 실행 과정을 추적할 수 있는가? 기업용 Agent에서는 이런 질문이 제품의 핵심 기능이 된다.

이는 기존 소프트웨어와도 다른 접근이다. 기존 업무 프로그램은 사람이 명령을 내리고 프로그램이 정해진 기능을 수행한다. Agent는 자연어로 주어진 목표를 해석하고 여러 도구를 조합해 작업할 수 있다. 따라서 사용자가 예상하지 못한 행동이 발생할 가능성이 존재한다. Agent의 능력이 커질수록 실행 환경에 대한 안전장치도 함께 커져야 하는 이유다.

기업 데이터와 AI 사이에 ‘권한 체계’가 필요하다. 기업용 Agent가 제대로 작동하려면 결국 데이터에 접근해야 한다. 하지만 모든 데이터에 같은 권한을 부여해서는 안 된다. 영업 담당자에게 필요한 데이터와 인사 담당자가 볼 수 있는 데이터는 다르다. 경영진에게 허용된 문서와 일반 직원이 접근할 수 있는 자료도 다르다. 따라서 앞으로 기업용 Agent의 중요한 경쟁력 가운데 하나는 조직의 기존 권한 체계를 얼마나 자연스럽게 AI에 적용할 수 있는지가 될 가능성이 높다. AI가 똑똑한 것만으로는 충분하지 않다.

누가 어떤 데이터를 볼 수 있는지 알아야 하고, 어떤 업무를 대신할 수 있는지도 구분해야 한다. AI가 만든 결과물을 누가 승인했는지도 기록해야 한다. 이런 구조가 갖춰져야 Agent를 기업 업무에 지속적으로 투입할 수 있다. 결국 기업용 AI의 핵심은 모델과 데이터 사이에 있는 ‘업무 권한 계층’이다.

이제 AI 표준화 경쟁도 시작됐다. AI Agent가 기업 현장으로 확산되면서 표준화의 중요성도 커지고 있다. 기업이 AI 제품을 도입하려면 제품 간 성능을 비교할 수 있어야 한다. 문서 생성 AI는 결과물의 품질을 비교할 수 있지만 Agent는 단순한 정답률만으로 평가하기 어렵다. 업무를 얼마나 정확하게 수행하는지, 도구를 어떤 방식으로 사용하는지, 데이터 보호 수준은 어떤지, 위험한 행동을 어떻게 차단하는지 등을 함께 봐야 한다. 중국신통원이 오피스 Agent에 대해 별도의 능력 평가를 시작한 것도 이런 변화의 한 사례다.

국제적으로도 관련 논의가 이어지고 있다. ITU-T SG21은 2026년 7월 제네바 회의에서 AI Agent 시스템과 AI 클라우드 플랫폼, AI 생성 콘텐츠, 체화 AI 등의 평가와 기술 요구사항을 다루는 표준화 문서를 논의했다. 여기서 중국신통원의 평가와 ITU의 표준화 활동을 하나의 사건으로 연결해서 해석할 필요는 없다. 두 활동은 별개다. 그러나 AI를 어떻게 평가하고 관리할 것인가라는 질문이 세계적으로 등장하고 있다는 점은 주목할 필요가 있다. AI가 연구실을 벗어나 기업과 산업 현장으로 들어갈수록 기술 자체뿐 아니라 평가 기준과 관리 체계가 중요해지기 때문이다.

중국 AI 경쟁의 단위가 바뀌고 있다. 최근까지 중국 AI 산업의 경쟁은 대형 모델을 중심으로 전개됐다. 모델의 매개변수 규모, 컨텍스트 길이, 추론 능력, 벤치마크 성능 등이 주요 지표였다. 하지만 Agent 시대에는 경쟁의 단위가 달라진다.

모델 하나가 아니라 "모델 + Agent + 데이터 + 업무 시스템 + 보안 + 플랫폼"이라는 구조로 경쟁하게 된다. 첸원 오피스가 여러 Agent 제품을 통합하고, 딩톡과 연결하고, Office 문서와 웹페이지를 생성하고, 홍몽과 Windows·macOS 등 다양한 환경을 지원하는 이유도 이 흐름에서 볼 수 있다. 알리바바가 가진 모델과 클라우드, 협업 플랫폼이라는 기존 생태계가 Agent를 중심으로 연결될 수 있기 때문이다.

물론 이것이 곧 시장에서의 성공을 의미하는 것은 아니다. 실제 기업 현장에서 어느 정도의 업무를 안정적으로 자동화할 수 있는지, 사용자가 얼마나 신뢰하는지, 다른 업무 시스템과 얼마나 폭넓게 연결되는지는 별도의 문제다. 그러나 경쟁의 방향이 ‘좋은 답변을 만드는 AI’에서 ‘기업의 업무를 실제로 수행하는 AI’로 이동하고 있다는 점은 분명히 관찰할 필요가 있다.

‘최초’보다 중요한 것은 실제 성과라는 것이다. 첸원 오피스를 둘러싼 중국 매체 보도에서는 ‘국내 최초’라는 표현이 반복해서 등장한다. 중국신통원 평가를 처음 통과했다는 사실은 제품의 중요한 이정표가 될 수 있다. 그러나 기업 사용자의 관점에서는 최초라는 기록보다 실제 업무 성과가 더 중요하다. 보고서를 작성하는 데 얼마나 시간이 줄어드는가? 데이터를 정리하는 데 필요한 반복 작업이 얼마나 사라지는가? 회의에서 나온 정보가 실제 업무로 얼마나 빠르게 연결되는가? AI가 만든 결과물을 사람이 얼마나 수정해야 하는가? 그리고 AI가 잘못된 행동을 했을 때 얼마나 빨리 발견하고 중단할 수 있는가?

이런 지표가 실제 시장에서 중요해질 것이다. AI Agent는 기존 챗봇보다 강력하다. 그만큼 책임의 범위도 넓어진다. 따라서 기업용 Agent의 진짜 경쟁력은 자율성의 크기가 아니라 자율성과 통제 가능성을 동시에 확보하는 능력에 있다.

AI 오피스의 다음 단계는 ‘업무를 맡기는 것’이다. AI 오피스의 첫 단계는 사람이 AI에게 질문하는 것이었다. 두 번째 단계는 AI에게 결과물 생성을 맡기는 것이다. 그리고 지금 시작되는 세 번째 단계는 AI에게 업무 자체를 맡기는 단계다. 문서를 만들어 달라는 요청에서 끝나는 것이 아니라 자료를 찾고, 분석하고, 문서를 만들고, 협업 시스템에 저장하고, 관련자에게 전달하는 일련의 과정을 AI에게 맡기는 것이다. 그 과정에서 기업은 새로운 기준을 세워야 한다. 어떤 업무를 AI에게 맡길 것인가? 어떤 데이터까지 접근하게 할 것인가? 어떤 행동에는 사람의 승인을 요구할 것인가? AI의 실행 기록을 어떻게 관리할 것인가? 문제가 발생했을 때 어떻게 중단하고 원인을 확인할 것인가? AI 도입의 핵심이 기술 선택에서 업무 설계와 거버넌스로 이동하는 이유다.

중국에서 시작된 변화가 한국 기업에 던지는 질문은 무엇일까? 첸원 오피스의 사례를 중국 시장의 특정 제품 이야기로만 볼 필요는 없다. 한국 기업도 비슷한 질문을 마주하고 있다. 생성형 AI를 도입하는 데서 그칠 것인가? 아니면 실제 업무 프로세스 안에 AI Agent를 투입할 것인가? 기업용 AI가 문서를 요약하고 회의록을 작성하는 수준을 넘어 결재, 지식관리, 데이터 분석, 고객 대응, 개발, 마케팅 등의 업무를 직접 수행한다면 기업의 IT 환경도 달라져야 한다.

AI를 위한 데이터 접근 권한이 필요하고, Agent가 사용할 도구와 업무 시스템을 정의해야 한다. 사람이 개입해야 하는 지점도 정해야 한다. AI가 실행한 작업을 기록하고 검증하는 체계도 필요하다. 결국 AI Agent 도입은 단순히 AI 서비스를 하나 추가하는 일이 아니다. 기업의 업무 구조를 다시 설계하는 문제에 가깝다.

AI 오피스의 승부처는 ‘더 똑똑한 AI’에서 ‘더 믿을 수 있는 AI’로 진화하고 있다. 첸원 오피스의 홍몽 PC 출시와 중국신통원 평가 통과는 하나의 제품이 시장에 추가됐다는 의미를 넘어선다. AI Agent가 운영체제와 협업 플랫폼, 기업 데이터와 업무 시스템으로 들어가는 흐름을 보여준다. 동시에 AI가 더 많은 업무를 수행할수록 보안과 통제, 평가와 표준화가 중요해진다는 사실도 보여준다. 앞으로 AI 오피스 시장의 경쟁은 단순히 누가 더 큰 모델을 가지고 있는가로 결정되지 않을 가능성이 높다.

누가 더 많은 업무를 연결하는가? 누가 더 완성도 높은 결과물을 만드는가? 누가 더 다양한 기업 시스템과 연결되는가? 누가 더 안전하게 실행할 수 있는가? 그리고 문제가 발생했을 때 누가 더 빠르게 통제할 수 있는가? 이 질문에 답할 수 있는 제품이 기업용 AI 시장에서 경쟁력을 확보할 가능성이 높다.

AI가 사람보다 많은 일을 할 수 있는가? 그 질문은 이제 조금 낡았다. 기업이 앞으로 물어야 할 질문은 더 현실적이다. “우리 회사는 AI에게 어떤 일을 어디까지 맡길 것인가?” 첸원 오피스가 중국에서 보여준 변화는 결국 이 질문으로 귀결된다. AI 오피스의 시대는 ‘AI에게 질문하는 시대’에서 ‘AI에게 일을 맡기는 시대’로 이동하고 있다. 그리고 그다음 경쟁은 AI에게 일을 맡기면서도 기업의 통제권을 잃지 않는 방법을 찾는 데서 시작될 것이다.
 

윤교원 대표 / The K Media & Commerce, kyoweon@naver.com

[이 기사의 저작권은 이비즈타임즈에 있습니다]