Hook
AWS에서 AI를 쓰겠다고 하면 선택지가 너무 많아 막막합니다. Comprehend부터 Bedrock, SageMaker, Amazon Q까지 수십 개 서비스가 있습니다. 핵심은 계층입니다. 즉시 쓸 수 있는 SaaS, 모델을 구축·배포하는 PaaS, GPU를 직접 다루는 IaaS로 나뉩니다.
이 글에서는 AI vs ML vs 딥러닝의 관계를 먼저 정리하고, 2026년 핵심 플랫폼인 Bedrock(파운데이션 모델 API), SageMaker(ML 라이프사이클 플랫폼), Amazon Q(생성형 AI 비서)의 차이와 사용 시나리오를 정리합니다.
TL;DR
- Bedrock: 다양한 파운데이션 모델(Claude, Llama, Titan 등)을 API로 호출하는 완전관리형 서비스입니다. RAG·에이전트·가드레일·파인튜닝을 내장합니다
- SageMaker: 데이터 준비부터 훈련·배포·모니터링까지 ML 전체 라이프사이클을 지원하는 플랫폼입니다. 커스텀 모델을 직접 만들 때 씁니다
- Amazon Q: Bedrock 기반 생성형 AI 비서. Developer(코딩), Business(기업 데이터 Q&A), QuickSight(BI) 에디션이 있습니다
- 선택 기준: 기성 FM을 API로 쓰면 Bedrock, 커스텀 ML 모델을 직접 만들면 SageMaker, 즉시 쓰는 AI 비서가 필요하면 Amazon Q 또는 SaaS AI 서비스입니다
1. AI/ML 서비스 계층: 인프라 · 플랫폼 · 서비스
AWS는 인프라, 플랫폼, 서비스 세 계층으로 AI/ML을 제공합니다. 상층으로 갈수록 추상화가 높고 즉시 사용 가능합니다.
┌─────────────────────────────────────────────────────────┐
│ AWS AI/ML 서비스 계층 │
│ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ AI 서비스 (SaaS) — 즉시 사용 가능 │ │
│ │ Rekognition | Comprehend | Transcribe | Polly │ │
│ │ Translate | Textract | Lex | Amazon Q │ │
│ └─────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ ML 플랫폼 (PaaS) — 모델 구축/배포 │ │
│ │ Amazon Bedrock (FM) | Amazon SageMaker │ │
│ └─────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ ML 인프라 (IaaS) — GPU/컴퓨팅 │ │
│ │ EC2 (P5/G5) | Inferentia2 | Trainium │ │
│ │ EKS (GPU) | ECS | Lambda (GPU) │ │
│ └─────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────┘
| 계층 | 추상화 수준 | 제어 범위 | 대표 서비스 |
|---|---|---|---|
| AI 서비스 (SaaS) | 최상 | API 호출만 | Rekognition, Polly, Amazon Q |
| ML 플랫폼 (PaaS) | 중간 | 모델·파라미터 | Bedrock, SageMaker |
| ML 인프라 (IaaS) | 최하 | GPU·프레임워크 | EC2 P5, Inferentia2, Trainium |
AI ⊃ ML ⊃ 딥러닝: AI는 가장 넓은 개념이고, ML은 데이터로 학습하는 AI의 하위 분야, 딥러닝은 신경망을 사용하는 ML의 하위 분야입니다. 파운데이션 모델(FM)은 대규모 딥러닝 모델입니다.
2. Amazon Bedrock: 파운데이션 모델 API 플랫폼
Amazon Bedrock(2023 출시)는 다양한 파운데이션 모델(FM)을 API로 접근할 수 있는 완전관리형 서비스입니다. 자체 인프라 없이 최고의 AI 모델을 애플리케이션에 통합합니다.
지원 파운데이션 모델
| 제공사 | 모델 | 특징 |
|---|---|---|
| Anthropic | Claude 3.5 / Claude 4 | 고급 추론, 코딩, 200K 컨텍스트 |
| Amazon | Titan (Text, Image, Embeddings) | AWS 자체 FM, 멀티모달, 임베딩 |
| Meta | Llama 3 / Llama 4 | 오픈소스 기반, 다국어 |
| Mistral AI | Mistral Large / Mixtral | 효율적 추론, 유럽 기반 |
| Cohere | Command R+ | RAG 최적화 |
| Stability AI | Stable Diffusion XL / SD3 | 이미지 생성 |
| AI21 Labs | Jamba / Jurassic | 장문 처리, 글로벌 언어 |
Bedrock Playground: 코드 없이 텍스트·채팅·이미지 모델을 테스트합니다. Temperature, Top-P, Max Tokens, Stop Sequences 등 파라미터를 조정하며 프롬프트 템플릿 라이브러리를 제공합니다.
Knowledge Bases for Bedrock (RAG)
Bedrock에 RAG(검색 증강 생성) 기능을 내장하여, FM이 외부 지식 베이스를 참조하여 응답합니다.
| 구성 요소 | 설명 |
|---|---|
| 데이터 소스 | S3, 웹 크롤러, Confluence, SharePoint, Salesforce |
| 임베딩 모델 | Amazon Titan Embeddings (1024차원) |
| 벡터 저장소 | OpenSearch Serverless, Pinecone, Redis, MongoDB Atlas |
| 청킹(Chunking) | 문서를 자동으로 청크 단위로 분할 |
| 검색 | 사용자 질의 → 벡터 검색 → 관련 컨텍스트 추출 |
| 증강 | 컨텍스트 + 프롬프트 → FM 전달 → 응답 생성 |
Knowledge Bases for Bedrock (RAG)
┌─────────────────────────────────────────────────────────┐
│ Knowledge Bases for Bedrock (RAG) │
│ │
│ ┌───────────┐ │
│ │ 사용자 │ "이 회사의 휴가 정책은?" │
│ │ 질의 │─────────────────┐ │
│ └───────────┘ │ │
│ ▼ │
│ ┌──────────────────────────────────────────────────┐ │
│ │ Bedrock KB 파이프라인 │ │
│ │ │ │
│ │ 1. 질의 임베딩 (Titan Embeddings) │ │
│ │ ▼ │ │
│ │ 2. 벡터 검색 (OpenSearch Serverless) │ │
│ │ ▼ │ │
│ │ 3. 관련 컨텍스트 추출 │ │
│ │ "휴가 정책: 연차 15일, 반차 가능..." │ │
│ │ ▼ │ │
│ │ 4. 프롬프트 + 컨텍스트 → FM (Claude 3.5) │ │
│ │ ▼ │ │
│ │ 5. 응답 생성 + 출처 인용 │ │
│ └──────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌───────────────────────────────────────────────┐ │
│ │ 데이터 소스 → 임베딩 → 벡터 저장소 │ │
│ │ S3(PDF) | Confluence(Wiki) | SharePoint(Docs)│ │
│ └───────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────┘
Agents for Bedrock
FM이 외부 API, 데이터베이스, AWS 서비스와 자율적으로 상호작용하여 작업을 수행하는 자율 AI 에이전트입니다.
사용자: "내일 서울 출장 항공편과 호텔 예약해줘"
┌──────────────────────────────────────────────┐
│ Bedrock Agent │
│ │
│ 1. 의도 분석: 항공편 + 호텔 예약 │
│ │ │
│ ├── 2a. 항공편 검색 Action Group │
│ │ → Lambda: search_flights() │
│ ├── 2b. 호텔 검색 Action Group │
│ │ → Lambda: search_hotels() │
│ ├── 2c. Knowledge Base 참조 │
│ │ → 출장 정책: "1박 30만원 이내" │
│ ├── 3. 사용자 승인 요청 │
│ │ "KE123 + 그랜드인터컨티넨탈 예약할까요?"│
│ └── 4. 예약 실행 (사용자 승인 후) │
│ → Lambda: book_flight() / book_hotel()│
└──────────────────────────────────────────────┘
에이전트는 Chain-of-Thought로 액션 시퀀스를 계획하고, Action Group(Lambda·API)을 실행하며, 중요 작업 전 사용자 승인을 요청하고 단계별 Trace를 제공합니다.
Guardrails: 안전 가드레일
FM 응답에 대한 안전 가드레일을 설정하여 유해 콘텐츠 차단, 주제 제한, 민감 정보 필터링을 수행합니다.
| 가드레일 | 설명 |
|---|---|
| 콘텐츠 필터 | Hate, Insults, Sexual, Violence 카테고리별 차단 강도 |
| 거부된 주제 | 투자 조언, 의료 진단 등 특정 주제 응답 거부 |
| 단어 필터 | 금지어, 경쟁사 이름 차단 |
| 민감 정보(PII) | 이름, 이메일, 전화번호, SSN 자동 마스킹/차단 |
| 컨텍스트 기반 검사 | 환각(Hallucination) 감지, 출처 기반 검증 |
Model Evaluation & 파인튜닝
- Model Evaluation: 정확성·견고성·독성을 자동 측정하거나 전문가가 인간 평가합니다. 여러 FM을 동시에 비교하는 A/B 테스트를 지원합니다
- Fine-tuning: 기존 FM을 특정 작업에 재훈련 (수천~수만 건 라벨링 데이터)
- Continued Pre-training: 대규모 비라벨 데이터로 추가 사전 학습 (대규모 도메인 텍스트)
3. Amazon SageMaker: ML 라이프사이클 플랫폼
SageMaker는 ML 개발 전체 라이프사이클을 지원합니다. 데이터 준비부터 모델 훈련, 배포, 모니터링까지 모든 단계를 관리합니다. Bedrock이 기성 모델을 API로 쓴다면, SageMaker는 커스텀 모델을 직접 만들 때 사용합니다.
SageMaker Studio
ML 개발을 위한 통합 IDE(웹 기반)입니다. Jupyter 노트북, VS Code 호환 코드 편집기, 실험 추적, 모델 레지스트리, 엔드포인트 관리, Git 통합 협업을 한 곳에서 제공합니다.
SageMaker Canvas (노코드 ML)
코드 작성 없이 시각적 인터페이스로 ML 모델을 구축합니다. 비즈니스 분석가도 ML을 활용할 수 있습니다.
- AutoML: 데이터 업로드 → 자동 모델 선택/훈련
- 예측 유형: 분류, 회귀, 시계열 예측, 이미지 분류, 텍스트 분류
- 모델 설명: 특성 중요도, SHAP 값 시각화
- Foundation Models: Bedrock 연동으로 FM 활용
SageMaker Pipelines (MLOps)
ML 워크플로우를 CI/CD 스타일 파이프라인으로 자동화합니다.
SageMaker Pipelines (MLOps)
┌──────────────────────────────────────────────────────┐
│ SageMaker Pipeline │
│ │
│ ┌─────────┐ ┌──────────┐ ┌──────────┐ │
│ │ Data │──▶│ Training │──▶│ Evaluate │ │
│ │Processing│ │ Job │ │ Model │ │
│ └─────────┘ └──────────┘ └────┬─────┘ │
│ │ │
│ ┌──────▼──────┐ │
│ │ 조건 분기 │ │
│ │ 정확도 ≥ 95% │ │
│ └──┬──────┬───┘ │
│ (통과)│ │(실패) │
│ ▼ ▼ │
│ ┌──────────┐ ┌────────┐ │
│ │ Register │ │ Notify │ │
│ │ Model │ │ (SNS) │ │
│ └────┬─────┘ └────────┘ │
│ ▼ │
│ ┌──────────────┐ │
│ │ Deploy │ │
│ │ Endpoint │ │
│ └──────────────┘ │
└──────────────────────────────────────────────────────┘
Feature Store & Model Monitor
Feature Store는 ML 특성(Feature)을 중앙에서 관리·공유·재사용합니다. Offline Store(S3, 배치 학습용)과 Online Store(DynamoDB, 실시간 추론용)로 이원화되며 특성 버전 관리와 타임스탬프 추적을 지원합니다.
Model Monitor는 배포된 모델의 데이터 드리프트와 품질 저하를 자동 감지합니다.
| 모니터링 유형 | 설명 |
|---|---|
| Data Drift | 입력 데이터 분포 변화 감지 |
| Model Quality | 예측 정확도 저하 감지 |
| Feature Drift | 개별 특성 분포 변화 감지 |
| Bias Drift | 모델 편향 변화 감지 |
4. Amazon Q: 생성형 AI 어시스턴트
Amazon Q는 AWS의 생성형 AI 어시스턴트 제품군으로, 사용 사례에 특화된 에디션을 제공합니다. Bedrock 기반으로 구동되며 각 도메인에 최적화되어 있습니다.
| 에디션 | 대상 | 기능 |
|---|---|---|
| Q Developer | 개발자 | 코드 생성, 디버깅, 리팩토링, AWS 아키텍처 설계 지원 |
| Q Business | 기업 사용자 | 기업 데이터 기반 Q&A, 문서 요약, 워크플로우 자동화 |
| Q in QuickSight | BI 사용자 | 자연어로 대시보드 생성, 데이터 인사이트 도출 |
- Q Developer: VS Code, IntelliJ IDE 통합, CLI 지원, AWS 서비스 전문 지식을 보유합니다
- Q Business: S3, SharePoint, Confluence, Salesforce 등 기업 데이터 커넥터로 RAG를 구성합니다
- 보안: 엔터프라이즈 데이터 접근 제어, 관리자 권한 설정으로 기존 IAM 권한을 존중합니다
Amazon Q Business는 Bedrock Knowledge Bases를 내부적으로 활용하는 완성형 제품입니다. 직접 RAG 파이프라인을 구축할 시간이 없다면 Q Business로 즉시 시작합니다.
5. 기타 AI/ML 서비스: SaaS 계층
코드나 모델 없이 API 호출만으로 즉시 사용하는 사전 구축된 AI 서비스입니다. Bedrock이 범용 FM이라면, 이 서비스들은 특정 작업에 특화되어 있습니다.
| 서비스 | 기능 | 사용 사례 |
|---|---|---|
| Amazon Rekognition | 이미지/비디오 분석 | 객체 감지, 얼굴 인식, 콘텐츠 모더레이션 |
| Amazon Comprehend | 자연어 처리(NLP) | 감정 분석, 엔티티 추출, 언어 감지 |
| Amazon Transcribe | 음성 → 텍스트(STT) | 실시간/배치 음성 인식, 화자 구분 |
| Amazon Polly | 텍스트 → 음성(TTS) | 자연스러운 음성 합성, 뉴럴 TTS |
| Amazon Translate | 기계 번역 | 실시간 번역, 커스텀 용어 |
| Amazon Textract | 문서 OCR | 문서에서 텍스트·표·양식 데이터 추출 |
| Amazon Lex | 챗봇 빌더 | 음성/텍스트 챗봇, 자연어 이해 |
| Amazon Kendra | 지능형 검색 | 엔터프라이즈 검색, ML 랭킹 |
| Amazon Personalize | 개인화 추천 | 상품 추천, 실시간 개인화 |
| Amazon Forecast | 시계열 예측 | 수요 예측, 재고 관리 |
SaaS vs Bedrock 선택: 단일 작업(OCR, 번역, 음성인식)은 SaaS 서비스가 더 저렴하고 정확합니다. 복합 추론·요약·대화·코딩은 Bedrock FM이 적합합니다.
6. 아키텍처 패턴: RAG, MLOps, 엣지 추론
RAG 아키텍처
프롬프트에 외부 지식을 주입하여 환각을 줄이고 최신 정보를 반영하는 표준 패턴입니다.
RAG 아키텍처
┌─────────────────────────────────────────────────────────┐
│ RAG 아키텍처 │
│ │
│ ┌───────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ 사용자 │───▶│ API GW │───▶│ Lambda │ │
│ │ 클라이언트│ │ (REST) │ │ (오케스트레이터)│ │
│ └───────────┘ └──────────────┘ └──────┬───────┘ │
│ │ │
│ ┌───────────────────┤ │
│ ▼ ▼ │
│ ┌──────────────┐ ┌─────────────────┐│
│ │ Bedrock │ │ OpenSearch ││
│ │ Knowledge │ │ Serverless ││
│ │ Base │ │ (벡터 검색) ││
│ │ S3 데이터 │ └────────┬────────┘│
│ │ │ 임베딩 │ │ │
│ │ ▼ │ 관련 문서 청크 │
│ │ Titan Embed │ ▼ │
│ └──────────────┘ ┌─────────────────┐│
│ │ Bedrock ││
│ │ FM (Claude) ││
│ │ 응답 생성 ││
│ └─────────────────┘│
└─────────────────────────────────────────────────────────┘
MLOps 파이프라인
코드부터 데이터·훈련·배포·모니터링까지 자동화하는 엔드투엔드 ML 파이프라인입니다.
┌──────────────────────────────────────────────────────────┐
│ MLOps 파이프라인 │
│ │
│ [코드] [데이터] [훈련] [배포] │
│ ┌──────┐ ┌──────┐ ┌──────┐ ┌──────────┐ │
│ │ Git │────▶│Feature│────▶│Sage │────▶│ Model │ │
│ │ Repo │ │Store │ │Maker │ │ Registry │ │
│ └──────┘ └──────┘ │Train │ └────┬─────┘ │
│ └──────┘ │ │
│ ┌──────┐ ▼ │
│ │Code │ ┌──────┐ ┌──────┐ ┌──────────┐ │
│ │Build │────▶│Sage │────▶│Model │────▶│ Endpoint │ │
│ │Pipeline│ │Maker │ │Monitor│ │(RT/Batch)│ │
│ └──────┘ └──────┘ └──────┘ └──────────┘ │
│ │
│ CloudWatch: 모델 지표, 드리프트 알림, 자동 재훈련 트리거 │
└──────────────────────────────────────────────────────────┘
실시간 추론 vs 배치 추론
| 항목 | 실시간 추론 | 배치 추론 |
|---|---|---|
| 지연 시간 | ms 단위 응답 | 분~시간 단위 처리 |
| SageMaker | Real-time Endpoint | Batch Transform |
| Bedrock | InvokeModel API | Bedrock Batch API |
| 인프라 | 상시 실행 (오토스케일링) | 작업 시에만 프로비저닝 |
| 비용 | 시간당 과금 (지속) | 처리량당 과금 (일시적) |
| 사용 사례 | 챗봇, 추천, 실시간 분류 | 대량 데이터 분석, 일일 예측 |
엣지 추론 (IoT Greengrass)
모델을 엣지 디바이스에 배포하여 오프라인 환경에서도 추론을 수행합니다. 공장·차량·소매점 등 네트워크가 불안정한 환경에 적합합니다.
┌───────────────────────────────────────────────────────┐
│ AWS 클라우드 │
│ ┌──────────────┐ ┌───────────────────────────┐ │
│ │ SageMaker │───▶│ IoT Greengrass │ │
│ │ 모델 훈련 │ │ Deployment │ │
│ └──────────────┘ └───────────┬───────────────┘ │
└──────────────────────────────────┼────────────────────┘
│ 모델 배포
┌──────────────▼──────────────────┐
│ 엣지 디바이스 │
│ ┌───────────────────────────┐ │
│ │ Greengrass Core │ │
│ │ ML 추론 (로컬) │ │
│ │ • 이미지 분류 / 이상 탐지 │ │
│ └───────────────────────────┘ │
│ 카메라, 센서, 로봇, IoT 기기 │
└─────────────────────────────────┘
Bedrock 통합 애플리케이션 아키텍처
전형적인 서버리스 AI 애플리케이션 구성입니다.
Bedrock 통합 애플리케이션 아키텍처
┌──────────────────────────────────────────────────────────┐
│ AI 통합 애플리케이션 아키텍처 │
│ │
│ ┌───────────┐ ┌──────────────┐ │
│ │ Web / │───▶│ CloudFront │ │
│ │ Mobile │ │ + S3 (정적) │ │
│ └───────────┘ └──────┬───────┘ │
│ ┌──────▼───────┐ │
│ │ API Gateway │ │
│ └──────┬───────┘ │
│ ┌──────▼───────┐ │
│ │ Lambda │ │
│ │ (오케스트레이션)│ │
│ └──┬───┬───┬───┘ │
│ ┌───────────┘ │ └───────────┐ │
│ ▼ ▼ ▼ │
│ ┌─────────────┐ ┌─────────────┐ ┌──────────────┐ │
│ │ Bedrock │ │ Knowledge │ │ Bedrock │ │
│ │ FM(Claude) │ │ Base (RAG) │ │ Guardrails │ │
│ └─────────────┘ └──────┬──────┘ └──────────────┘ │
│ ┌──────▼──────┐ │
│ │ OpenSearch │ DynamoDB(대화기록) │
│ │ Serverless │ S3(문서) │
│ └─────────────┘ CloudWatch(모니터링) │
└──────────────────────────────────────────────────────────┘
마치며
AWS의 AI/ML 서비스를 처음 펼쳐봤을 때는 그 수에 압도당했습니다. Comprehend, Rekognition, Bedrock, SageMaker, Amazon Q, Lex, Kendra… 어디서 시작해야 할지 막막했습니다. 하지만 이 서비스들을 SaaS, PaaS, IaaS 세 계층으로 정렬하는 순간, 혼돈이 구조로 바뀌었습니다. “무엇을 제어하고 싶은가”가 선택의 기준이라는 것을 깨닫고 나니, 즉시 쓰는 단일 기능은 SaaS, 범용 모델을 API로 호출하려면 Bedrock, 커스텀 모델을 직접 만들려면 SageMaker라는 분기가 명확해졌습니다. 복잡해 보이는 생태계도 올바른 렌즈만 있으면 체계적으로 이해할 수 있다는 것을 체감했습니다.
Bedrock에서 가장 인상적이었던 것은 RAG, Agents, Guardrails가 플랫폼에 내장되어 있다는 점이었습니다. 단순히 파운데이션 모델을 API로 호출하는 것을 넘어, Knowledge Bases로 환각을 줄이고, Agents로 자율 작업을 수행하며, Guardrails로 유해 콘텐츠와 민감 정보를 차단하는 구조는 “프로덕션에서 AI를 안전하게 쓴다”는 것이 무엇인지를 구체적으로 보여줍니다. 특히 컨텍스트 기반 검사로 환각을 감지하는 기능은, AI의 불확실성을 엔지니어링으로 통제하려는 시도라는 점에서 큰 의미가 있다고 느꼈습니다. 모델 자체의 성능보다 “모델을 둘러싼 인프라”가 프로덕션 성패를 가른다는 통찰이 새로웠습니다.
Bedrock과 SageMaker가 경쟁이 아니라 보완 관계라는 점도 중요한 깨달음이었습니다. 기성 FM으로 빠르게 시작하고, 도메인 특화 정확도가 필요해지면 파인튜닝이나 커스텀 모델로 넘어가는 여정은, 결국 “추상화 수준을 비즈니스 요구에 맞춰 조정하는” 일이라고 생각합니다. Amazon Q가 그 위에 즉시 사용 가능한 비서 계층을 얹는 것까지 고려하면, AI 도입은 “어느 계층에서 시작할 것인가”의 문제지 “할 것인가 말 것인가”의 문제가 아니라는 생각이 듭니다. 앞으로는 AI를 도구의 나열이 아니라 추상화 계층의 연속으로 바라보며, 비즈니스 가치를 가장 빠르게 창출하는 지점에서 시작하는 사고를 유지하고 싶습니다.
AWS 시리즈 15/16
← 하이브리드 & 마이그레이션. Storage Gateway, DataSync, Snow Family 아키텍처 설계 패턴 & Well-Architected Framework →
게이트웨이 On-promise 제품 팀에서 시스템 모니터링 및 관리를 쉽게 다가갈 수 있도록 하기 위한 업무를 하고 있습니다.
Contact: lhjnano@gmail.com