AI Agent 시대, 기업이 준비해야할 5가지 기술레이어

 

생성형 AI 도입은 빠르게 확산되고 있지만, 실제로 AI가 업무를 수행하는 기업은 아직 많지 않습니다. AI 모델을 도입하는 것만으로는 업무 혁신이 완성되지 않기 때문입니다.

​

AI가 실제 업무를 수행하기 위해서는 기업의 데이터와 시스템이 연결되어야 하고, 업무 흐름 안에서 안전하게 실행되며, 운영과 거버넌스 체계까지 함께 갖춰져야 합니다.

​

특히 AI Agent가 사람과 함께 일하는 시대에는 Agent를 만들고, 협업시키고, 운영하고, 통제할 수 있는 플랫폼 역량이 기업 경쟁력의 중요한 요소가 되고 있습니다.

​

기업의 AX(AI Transformation)를 위해 필요한 5가지 핵심 기술 레이어를 소개합니다.

​

​

AGent Builder — 누구나 AI Agent를 만드는 시대

업무의 복잡도와 개발 역량에 따라 세 가지 방식으로 AI Agent를 만들 수 있습니다. 비개발자도 프롬프트 기반의 Prompt Builder를 활용해 빠르게 Agent를 생성할 수 있으며, 업무 자동화가 필요한 경우에는 시각적인 흐름 설계가 가능한 Workflow Builder를 사용할 수 있습니다. 보다 복잡한 외부 시스템 연동이나 고급 로직이 필요한 경우에는 Code Builder(ADK)를 통해 개발할 수 있으며, LangChain·LangGraph 등 오픈소스 프레임워크와의 연계도 지원합니다.

​

l Prompt Builder: 프롬프트와 템플릿을 활용해 빠르게 Agent를 생성하고, 다양한 모델과 Skill을 손쉽게 연결

​

l Workflow Builder: 시각적인 업무 흐름 설계와 조건 분기, 검증 절차를 통해 업무 프로세스를 자동화

​

l Code Builder / ADK: 외부 시스템 연동, 복잡한 비즈니스 로직 구현, 테스트 등 전문 개발 환경 제공

​

개발된 Agent는 Manifest와 Policy Gate를 통해 권한 및 보안 정책 검증을 거친 후, FabriX Runtime 환경에서 안전하게 배포되고 운영됩니다.

​

​

Intelligent Orchestration — 복잡한 업무도 끝까지 자동화

단순히 질문에 답하는 챗봇을 넘어, 여러 Agent가 서로 협력하며 복잡한 업무를 처리할 수 있도록 지원하는 오케스트레이션 엔진입니다. 핵심 기능은 다음 세 가지입니다.

​

l HITL (Human-in-the-Loop): 승인이나 판단이 필요한 단계에서는 사용자가 개입할 수 있으며, 이후 Agent가 작업을 이어서 수행

​

l ADS (Agent Directory Service): 사용자의 의도를 분석해 가장 적합한 Agent를 자동으로 찾아 연결

​

l Memory (STM + LTM): 단기 및 장기 메모리를 활용해 이전 업무 맥락을 기억하고 개인화된 응답 제공

​

이를 통해 업무 단위(Task) 기반 실행, 중단 후 재개 가능한 프로세스, 동적인 Agent 연결, 일관된 업무 컨텍스트 유지가 가능해집니다.

​

​

Knowledge & Data — Agent가 판단하는 근거를 만든다

PDF, 계약서, 규정집, 스캔 문서 등 다양한 기업 문서를 AI가 활용할 수 있는 지식 자산으로 변환합니다.
Document Parsing → Structure Extraction → Chunking/Embedding → Retrieval Index → Advanced RAG로 이어지는 파이프라인을 통해, AI는 근거 문서를 기반으로 답변하고 관련 조항을 인용하며 업무 판단의 근거를 제시할 수 있습니다.

​특히 다음 세 가지 고도화된 RAG 기술을 제공합니다.

​

l Agentic RAG: Agent가 스스로 계획하고 검색·검토를 반복하며 복합 질의의 정확도를 234%* 향상

​

l Multimodal RAG: 텍스트뿐 아니라 이미지, 표, 차트까지 함께 검색해 문서와 시각 자료를 기반으로 답변 제공

​

l Graph RAG: 온톨로지와 실시간 그래프를 활용해 조직·인물 간 관계나 규정 간 연관성을 분석하고 Multi-hop 추론 수행

​

* 234% — Agentic RAG 도입 시 복합 질의 정확도 향상 (자사 보유 도메인 데이터 기준)

​

​

AIOps Serving — AI 모델과 GPU 인프라의 안정적 운영

AI 서비스를 안정적으로 운영하기 위한 풀스택 인프라 계층입니다.

​

사용자와 애플리케이션, Agent를 연결하는 Client/Agent Runtime부터 인증과 라우팅을 담당하는 API Gateway, 다중 버전 모델을 관리하는 Model Serving, GPU 오토스케일링 및 모니터링, 그리고 성능 평가와 정책 제어를 위한 Evaluation/Control Plane까지 총 5개 계층으로 구성됩니다.

​

이를 통해 요청이 급증하더라도 안정적인 서비스 품질을 유지하고, 새로운 모델을 손쉽게 배포·관리하며, 추론 부하에 따라 GPU 비용도 자동으로 최적화할 수 있습니다.

​

​

Marketplace & Governance — 안전하게 공유하고 통제하다

검증된 Agent, Skill, Tool, Knowledge를 조직 내부에서 쉽게 검색하고 승인 받아 재사용할 수 있는 Marketplace와, AI 서비스 전반의 보안 및 컴플라이언스를 관리하는 Governance 체계를 제공합니다.

​Governance는 다음 4개 레이어로 구성됩니다.

​

l Admin: 사용자 및 권한 관리

​

l APIM: 인증, 호출량, 비용 정책 관리

​

l Guardrail: 입출력 필터링 및 개인정보(PII) 탐지

​

l Audit: AI Agent 실행 전 과정에 대한 이력 추적 및 감사 로그 관리

​

이를 통해 AI Agent의 실행 전 과정을 안전하게 검증하고 추적할 수 있습니다.

​

​

​

AX는 단순히 AI 도구를 도입하는 것이 아닙니다. 업무 프로세스를 재설계(Process Re-design)하고, Agent를 체계적으로 운영(AgentOps)하며, 거버넌스를 구축하고(Agent Governance), AI가 활용할 수 있는 데이터를 준비(AI-Ready Data)하는 전사적 변화입니다.

​

위에서 소개한 5개의 기술 레이어는 이러한 AX 여정을 실제로 실행할 수 있도록 지원하는 플랫폼의 기반이 됩니다.

​

AI Agent의 활용 범위가 확대될수록 이를 뒷받침하는 플랫폼 역량과 운영 체계의 중요성은 더욱 커질 것으로 예상됩니다.