Hook
AWS에서 AI를 쓰겠다고 하면 선택지가 너무 많아 막막합니다. Comprehend부터 Bedrock, SageMaker, Amazon Q까지 수십 개 서비스가 있습니다. 핵심은 계층입니다. 즉시 쓸 수 있는 SaaS, 모델을 구축·배포하는 PaaS, GPU를 직접 다루는 IaaS로 나뉩니다.
이 글에서는 AI vs ML vs 딥러닝의 관계를 먼저 정리하고, 2026년 핵심 플랫폼인 Bedrock(파운데이션 모델 API), SageMaker(ML 라이프사이클 플랫폼), Amazon Q(생성형 AI 비서)의 차이와 사용 시나리오를 정리합니다.
TL;DR
- Bedrock — 다양한 파운데이션 모델(Claude, Llama, Titan 등)을 API로 호출하는 완전관리형 서비스입니다. RAG·에이전트·가드레일·파인튜닝을 내장합니다
- SageMaker — 데이터 준비부터 훈련·배포·모니터링까지 ML 전체 라이프사이클을 지원하는 플랫폼입니다. 커스텀 모델을 직접 만들 때 씁니다
- Amazon Q — Bedrock 기반 생성형 AI 비서. Developer(코딩), Business(기업 데이터 Q&A), QuickSight(BI) 에디션이 있습니다
- 선택 기준 — 기성 FM을 API로 쓰면 Bedrock, 커스텀 ML 모델을 직접 만들면 SageMaker, 즉시 쓰는 AI 비서가 필요하면 Amazon Q 또는 SaaS AI 서비스입니다
1. AI/ML 서비스 계층 — 인프라 · 플랫폼 · 서비스
AWS는 인프라, 플랫폼, 서비스 세 계층으로 AI/ML을 제공합니다. 상층으로 갈수록 추상화가 높고 즉시 사용 가능합니다.
┌─────────────────────────────────────────────────────────┐
│ AWS AI/ML 서비스 계층 │
│ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ AI 서비스 (SaaS) — 즉시 사용 가능 │ │
│ │ Rekognition | Comprehend | Transcribe | Polly │ │
│ │ Translate | Textract | Lex | Amazon Q │ │
│ └─────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ ML 플랫폼 (PaaS) — 모델 구축/배포 │ │
│ │ Amazon Bedrock (FM) | Amazon SageMaker │ │
│ └─────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────┐ │
│ │ ML 인프라 (IaaS) — GPU/컴퓨팅 │ │
│ │ EC2 (P5/G5) | Inferentia2 | Trainium │ │
│ │ EKS (GPU) | ECS | Lambda (GPU) │ │
│ └─────────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────┘
| 계층 | 추상화 수준 | 제어 범위 | 대표 서비스 |
|---|---|---|---|
| AI 서비스 (SaaS) | 최상 | API 호출만 | Rekognition, Polly, Amazon Q |
| ML 플랫폼 (PaaS) | 중간 | 모델·파라미터 | Bedrock, SageMaker |
| ML 인프라 (IaaS) | 최하 | GPU·프레임워크 | EC2 P5, Inferentia2, Trainium |
AI ⊃ ML ⊃ 딥러닝: AI는 가장 넓은 개념이고, ML은 데이터로 학습하는 AI의 하위 분야, 딥러닝은 신경망을 사용하는 ML의 하위 분야입니다. 파운데이션 모델(FM)은 대규모 딥러닝 모델입니다.
2. Amazon Bedrock — 파운데이션 모델 API 플랫폼
Amazon Bedrock(2023 출시)는 다양한 파운데이션 모델(FM)을 API로 접근할 수 있는 완전관리형 서비스입니다. 자체 인프라 없이 최고의 AI 모델을 애플리케이션에 통합합니다.
지원 파운데이션 모델
| 제공사 | 모델 | 특징 |
|---|---|---|
| Anthropic | Claude 3.5 / Claude 4 | 고급 추론, 코딩, 200K 컨텍스트 |
| Amazon | Titan (Text, Image, Embeddings) | AWS 자체 FM, 멀티모달, 임베딩 |
| Meta | Llama 3 / Llama 4 | 오픈소스 기반, 다국어 |
| Mistral AI | Mistral Large / Mixtral | 효율적 추론, 유럽 기반 |
| Cohere | Command R+ | RAG 최적화 |
| Stability AI | Stable Diffusion XL / SD3 | 이미지 생성 |
| AI21 Labs | Jamba / Jurassic | 장문 처리, 글로벌 언어 |
Bedrock Playground — 코드 없이 텍스트·채팅·이미지 모델을 테스트합니다. Temperature, Top-P, Max Tokens, Stop Sequences 등 파라미터를 조정하며 프롬프트 템플릿 라이브러리를 제공합니다.
Knowledge Bases for Bedrock (RAG)
Bedrock에 RAG(검색 증강 생성) 기능을 내장하여, FM이 외부 지식 베이스를 참조하여 응답합니다.
| 구성 요소 | 설명 |
|---|---|
| 데이터 소스 | S3, 웹 크롤러, Confluence, SharePoint, Salesforce |
| 임베딩 모델 | Amazon Titan Embeddings (1024차원) |
| 벡터 저장소 | OpenSearch Serverless, Pinecone, Redis, MongoDB Atlas |
| 청킹(Chunking) | 문서를 자동으로 청크 단위로 분할 |
| 검색 | 사용자 질의 → 벡터 검색 → 관련 컨텍스트 추출 |
| 증강 | 컨텍스트 + 프롬프트 → FM 전달 → 응답 생성 |
┌─────────────────────────────────────────────────────────┐
│ Knowledge Bases for Bedrock (RAG) │
│ │
│ ┌───────────┐ │
│ │ 사용자 │ "이 회사의 휴가 정책은?" │
│ │ 질의 │─────────────────┐ │
│ └───────────┘ │ │
│ ▼ │
│ ┌──────────────────────────────────────────────────┐ │
│ │ Bedrock KB 파이프라인 │ │
│ │ │ │
│ │ 1. 질의 임베딩 (Titan Embeddings) │ │
│ │ ▼ │ │
│ │ 2. 벡터 검색 (OpenSearch Serverless) │ │
│ │ ▼ │ │
│ │ 3. 관련 컨텍스트 추출 │ │
│ │ "휴가 정책: 연차 15일, 반차 가능..." │ │
│ │ ▼ │ │
│ │ 4. 프롬프트 + 컨텍스트 → FM (Claude 3.5) │ │
│ │ ▼ │ │
│ │ 5. 응답 생성 + 출처 인용 │ │
│ └──────────────────────────────────────────────────┘ │
│ │ │
│ ▼ │
│ ┌───────────────────────────────────────────────┐ │
│ │ 데이터 소스 → 임베딩 → 벡터 저장소 │ │
│ │ S3(PDF) | Confluence(Wiki) | SharePoint(Docs)│ │
│ └───────────────────────────────────────────────┘ │
└─────────────────────────────────────────────────────────┘
Agents for Bedrock
FM이 외부 API, 데이터베이스, AWS 서비스와 자율적으로 상호작용하여 작업을 수행하는 자율 AI 에이전트입니다.
사용자: "내일 서울 출장 항공편과 호텔 예약해줘"
┌──────────────────────────────────────────────┐
│ Bedrock Agent │
│ │
│ 1. 의도 분석: 항공편 + 호텔 예약 │
│ │ │
│ ├── 2a. 항공편 검색 Action Group │
│ │ → Lambda: search_flights() │
│ ├── 2b. 호텔 검색 Action Group │
│ │ → Lambda: search_hotels() │
│ ├── 2c. Knowledge Base 참조 │
│ │ → 출장 정책: "1박 30만원 이내" │
│ ├── 3. 사용자 승인 요청 │
│ │ "KE123 + 그랜드인터컨티넨탈 예약할까요?"│
│ └── 4. 예약 실행 (사용자 승인 후) │
│ → Lambda: book_flight() / book_hotel()│
└──────────────────────────────────────────────┘
에이전트는 Chain-of-Thought로 액션 시퀀스를 계획하고, Action Group(Lambda·API)을 실행하며, 중요 작업 전 사용자 승인을 요청하고 단계별 Trace를 제공합니다.
Guardrails — 안전 가드레일
FM 응답에 대한 안전 가드레일을 설정하여 유해 콘텐츠 차단, 주제 제한, 민감 정보 필터링을 수행합니다.
| 가드레일 | 설명 |
|---|---|
| 콘텐츠 필터 | Hate, Insults, Sexual, Violence 카테고리별 차단 강도 |
| 거부된 주제 | 투자 조언, 의료 진단 등 특정 주제 응답 거부 |
| 단어 필터 | 금지어, 경쟁사 이름 차단 |
| 민감 정보(PII) | 이름, 이메일, 전화번호, SSN 자동 마스킹/차단 |
| 컨텍스트 기반 검사 | 환각(Hallucination) 감지, 출처 기반 검증 |
Model Evaluation & 파인튜닝
- Model Evaluation — 정확성·견고성·독성을 자동 측정하거나 전문가가 인간 평가합니다. 여러 FM을 동시에 비교하는 A/B 테스트를 지원합니다
- Fine-tuning — 기존 FM을 특정 작업에 재훈련 (수천~수만 건 라벨링 데이터)
- Continued Pre-training — 대규모 비라벨 데이터로 추가 사전 학습 (대규모 도메인 텍스트)
3. Amazon SageMaker — ML 라이프사이클 플랫폼
SageMaker는 ML 개발 전체 라이프사이클을 지원합니다. 데이터 준비부터 모델 훈련, 배포, 모니터링까지 모든 단계를 관리합니다. Bedrock이 기성 모델을 API로 쓴다면, SageMaker는 커스텀 모델을 직접 만들 때 사용합니다.
SageMaker Studio
ML 개발을 위한 통합 IDE(웹 기반)입니다. Jupyter 노트북, VS Code 호환 코드 편집기, 실험 추적, 모델 레지스트리, 엔드포인트 관리, Git 통합 협업을 한 곳에서 제공합니다.
SageMaker Canvas (노코드 ML)
코드 작성 없이 시각적 인터페이스로 ML 모델을 구축합니다. 비즈니스 분석가도 ML을 활용할 수 있습니다.
- AutoML — 데이터 업로드 → 자동 모델 선택/훈련
- 예측 유형 — 분류, 회귀, 시계열 예측, 이미지 분류, 텍스트 분류
- 모델 설명 — 특성 중요도, SHAP 값 시각화
- Foundation Models — Bedrock 연동으로 FM 활용
SageMaker Pipelines (MLOps)
ML 워크플로우를 CI/CD 스타일 파이프라인으로 자동화합니다.
┌──────────────────────────────────────────────────────┐
│ SageMaker Pipeline │
│ │
│ ┌─────────┐ ┌──────────┐ ┌──────────┐ │
│ │ Data │──▶│ Training │──▶│ Evaluate │ │
│ │Processing│ │ Job │ │ Model │ │
│ └─────────┘ └──────────┘ └────┬─────┘ │
│ │ │
│ ┌──────▼──────┐ │
│ │ 조건 분기 │ │
│ │ 정확도 ≥ 95% │ │
│ └──┬──────┬───┘ │
│ (통과)│ │(실패) │
│ ▼ ▼ │
│ ┌──────────┐ ┌────────┐ │
│ │ Register │ │ Notify │ │
│ │ Model │ │ (SNS) │ │
│ └────┬─────┘ └────────┘ │
│ ▼ │
│ ┌──────────────┐ │
│ │ Deploy │ │
│ │ Endpoint │ │
│ └──────────────┘ │
└──────────────────────────────────────────────────────┘
Feature Store & Model Monitor
Feature Store는 ML 특성(Feature)을 중앙에서 관리·공유·재사용합니다. Offline Store(S3, 배치 학습용)과 Online Store(DynamoDB, 실시간 추론용)로 이원화되며 특성 버전 관리와 타임스탬프 추적을 지원합니다.
Model Monitor는 배포된 모델의 데이터 드리프트와 품질 저하를 자동 감지합니다.
| 모니터링 유형 | 설명 |
|---|---|
| Data Drift | 입력 데이터 분포 변화 감지 |
| Model Quality | 예측 정확도 저하 감지 |
| Feature Drift | 개별 특성 분포 변화 감지 |
| Bias Drift | 모델 편향 변화 감지 |
4. Amazon Q — 생성형 AI 어시스턴트
Amazon Q는 AWS의 생성형 AI 어시스턴트 제품군으로, 사용 사례에 특화된 에디션을 제공합니다. Bedrock 기반으로 구동되며 각 도메인에 최적화되어 있습니다.
| 에디션 | 대상 | 기능 |
|---|---|---|
| Q Developer | 개발자 | 코드 생성, 디버깅, 리팩토링, AWS 아키텍처 설계 지원 |
| Q Business | 기업 사용자 | 기업 데이터 기반 Q&A, 문서 요약, 워크플로우 자동화 |
| Q in QuickSight | BI 사용자 | 자연어로 대시보드 생성, 데이터 인사이트 도출 |
- Q Developer — VS Code, IntelliJ IDE 통합, CLI 지원, AWS 서비스 전문 지식을 보유합니다
- Q Business — S3, SharePoint, Confluence, Salesforce 등 기업 데이터 커넥터로 RAG를 구성합니다
- 보안 — 엔터프라이즈 데이터 접근 제어, 관리자 권한 설정으로 기존 IAM 권한을 존중합니다
Amazon Q Business는 Bedrock Knowledge Bases를 내부적으로 활용하는 완성형 제품입니다. 직접 RAG 파이프라인을 구축할 시간이 없다면 Q Business로 즉시 시작합니다.
5. 기타 AI/ML 서비스 — SaaS 계층
코드나 모델 없이 API 호출만으로 즉시 사용하는 사전 구축된 AI 서비스입니다. Bedrock이 범용 FM이라면, 이 서비스들은 특정 작업에 특화되어 있습니다.
| 서비스 | 기능 | 사용 사례 |
|---|---|---|
| Amazon Rekognition | 이미지/비디오 분석 | 객체 감지, 얼굴 인식, 콘텐츠 모더레이션 |
| Amazon Comprehend | 자연어 처리(NLP) | 감정 분석, 엔티티 추출, 언어 감지 |
| Amazon Transcribe | 음성 → 텍스트(STT) | 실시간/배치 음성 인식, 화자 구분 |
| Amazon Polly | 텍스트 → 음성(TTS) | 자연스러운 음성 합성, 뉴럴 TTS |
| Amazon Translate | 기계 번역 | 실시간 번역, 커스텀 용어 |
| Amazon Textract | 문서 OCR | 문서에서 텍스트·표·양식 데이터 추출 |
| Amazon Lex | 챗봇 빌더 | 음성/텍스트 챗봇, 자연어 이해 |
| Amazon Kendra | 지능형 검색 | 엔터프라이즈 검색, ML 랭킹 |
| Amazon Personalize | 개인화 추천 | 상품 추천, 실시간 개인화 |
| Amazon Forecast | 시계열 예측 | 수요 예측, 재고 관리 |
SaaS vs Bedrock 선택: 단일 작업(OCR, 번역, 음성인식)은 SaaS 서비스가 더 저렴하고 정확합니다. 복합 추론·요약·대화·코딩은 Bedrock FM이 적합합니다.
6. 아키텍처 패턴 — RAG, MLOps, 엣지 추론
RAG 아키텍처
프롬프트에 외부 지식을 주입하여 환각을 줄이고 최신 정보를 반영하는 표준 패턴입니다.
┌─────────────────────────────────────────────────────────┐
│ RAG 아키텍처 │
│ │
│ ┌───────────┐ ┌──────────────┐ ┌──────────────┐ │
│ │ 사용자 │───▶│ API GW │───▶│ Lambda │ │
│ │ 클라이언트│ │ (REST) │ │ (오케스트레이터)│ │
│ └───────────┘ └──────────────┘ └──────┬───────┘ │
│ │ │
│ ┌───────────────────┤ │
│ ▼ ▼ │
│ ┌──────────────┐ ┌─────────────────┐│
│ │ Bedrock │ │ OpenSearch ││
│ │ Knowledge │ │ Serverless ││
│ │ Base │ │ (벡터 검색) ││
│ │ S3 데이터 │ └────────┬────────┘│
│ │ │ 임베딩 │ │ │
│ │ ▼ │ 관련 문서 청크 │
│ │ Titan Embed │ ▼ │
│ └──────────────┘ ┌─────────────────┐│
│ │ Bedrock ││
│ │ FM (Claude) ││
│ │ 응답 생성 ││
│ └─────────────────┘│
└─────────────────────────────────────────────────────────┘
MLOps 파이프라인
코드부터 데이터·훈련·배포·모니터링까지 자동화하는 엔드투엔드 ML 파이프라인입니다.
┌──────────────────────────────────────────────────────────┐
│ MLOps 파이프라인 │
│ │
│ [코드] [데이터] [훈련] [배포] │
│ ┌──────┐ ┌──────┐ ┌──────┐ ┌──────────┐ │
│ │ Git │────▶│Feature│────▶│Sage │────▶│ Model │ │
│ │ Repo │ │Store │ │Maker │ │ Registry │ │
│ └──────┘ └──────┘ │Train │ └────┬─────┘ │
│ └──────┘ │ │
│ ┌──────┐ ▼ │
│ │Code │ ┌──────┐ ┌──────┐ ┌──────────┐ │
│ │Build │────▶│Sage │────▶│Model │────▶│ Endpoint │ │
│ │Pipeline│ │Maker │ │Monitor│ │(RT/Batch)│ │
│ └──────┘ └──────┘ └──────┘ └──────────┘ │
│ │
│ CloudWatch: 모델 지표, 드리프트 알림, 자동 재훈련 트리거 │
└──────────────────────────────────────────────────────────┘
실시간 추론 vs 배치 추론
| 항목 | 실시간 추론 | 배치 추론 |
|---|---|---|
| 지연 시간 | ms 단위 응답 | 분~시간 단위 처리 |
| SageMaker | Real-time Endpoint | Batch Transform |
| Bedrock | InvokeModel API | Bedrock Batch API |
| 인프라 | 상시 실행 (오토스케일링) | 작업 시에만 프로비저닝 |
| 비용 | 시간당 과금 (지속) | 처리량당 과금 (일시적) |
| 사용 사례 | 챗봇, 추천, 실시간 분류 | 대량 데이터 분석, 일일 예측 |
엣지 추론 (IoT Greengrass)
모델을 엣지 디바이스에 배포하여 오프라인 환경에서도 추론을 수행합니다. 공장·차량·소매점 등 네트워크가 불안정한 환경에 적합합니다.
┌───────────────────────────────────────────────────────┐
│ AWS 클라우드 │
│ ┌──────────────┐ ┌───────────────────────────┐ │
│ │ SageMaker │───▶│ IoT Greengrass │ │
│ │ 모델 훈련 │ │ Deployment │ │
│ └──────────────┘ └───────────┬───────────────┘ │
└──────────────────────────────────┼────────────────────┘
│ 모델 배포
┌──────────────▼──────────────────┐
│ 엣지 디바이스 │
│ ┌───────────────────────────┐ │
│ │ Greengrass Core │ │
│ │ ML 추론 (로컬) │ │
│ │ • 이미지 분류 / 이상 탐지 │ │
│ └───────────────────────────┘ │
│ 카메라, 센서, 로봇, IoT 기기 │
└─────────────────────────────────┘
Bedrock 통합 애플리케이션 아키텍처
전형적인 서버리스 AI 애플리케이션 구성입니다.
┌──────────────────────────────────────────────────────────┐
│ AI 통합 애플리케이션 아키텍처 │
│ │
│ ┌───────────┐ ┌──────────────┐ │
│ │ Web / │───▶│ CloudFront │ │
│ │ Mobile │ │ + S3 (정적) │ │
│ └───────────┘ └──────┬───────┘ │
│ ┌──────▼───────┐ │
│ │ API Gateway │ │
│ └──────┬───────┘ │
│ ┌──────▼───────┐ │
│ │ Lambda │ │
│ │ (오케스트레이션)│ │
│ └──┬───┬───┬───┘ │
│ ┌───────────┘ │ └───────────┐ │
│ ▼ ▼ ▼ │
│ ┌─────────────┐ ┌─────────────┐ ┌──────────────┐ │
│ │ Bedrock │ │ Knowledge │ │ Bedrock │ │
│ │ FM(Claude) │ │ Base (RAG) │ │ Guardrails │ │
│ └─────────────┘ └──────┬──────┘ └──────────────┘ │
│ ┌──────▼──────┐ │
│ │ OpenSearch │ DynamoDB(대화기록) │
│ │ Serverless │ S3(문서) │
│ └─────────────┘ CloudWatch(모니터링) │
└──────────────────────────────────────────────────────────┘
Takeaway
- 계층으로 생각하면 선택이 명확합니다 — 즉시 쓰는 단일 기능 AI는 SaaS(Rekognition·Polly), 범용 FM API는 Bedrock, 커스텀 모델 전체 사이클은 SageMaker입니다. 무엇을 제어하고 싶은지에 따라 계층을 정합니다
- Bedrock은 RAG·에이전트·가드레일을 내장한 통합 플랫폼입니다 — Knowledge Bases로 환각을 줄이고, Agents로 자율 작업을 수행하고, Guardrails로 안전을 보장합니다. 이 세 가지가 프로덕션 AI의 핵심입니다
- Bedrock과 SageMaker는 대체가 아닌 보완입니다 — 기성 FM으로 빠르게 시작하고(Bedrock), 도메인 특화 정확도가 필요해지면 파인튜닝하거나 커스텀 모델로 넘어갑니다(SageMaker). Amazon Q는 이 둘 위에 얹는 즉시 사용 가능한 비사 계층입니다
AWS 시리즈 15/16
← 하이브리드 & 마이그레이션 — Storage Gateway, DataSync, Snow Family 아키텍처 설계 패턴 & Well-Architected Framework →
HeonJe Lee | 선임연구원
게이트웨이 On-promise 제품 팀에서 시스템 모니터링 및 관리를 쉽게 다가갈 수 있도록 하기 위한 업무를 하고 있습니다.
Contact: lhjnano@gmail.com
게이트웨이 On-promise 제품 팀에서 시스템 모니터링 및 관리를 쉽게 다가갈 수 있도록 하기 위한 업무를 하고 있습니다.
Contact: lhjnano@gmail.com