S3가 단순한 객체 스토리지를 넘어 파일 시스템, 테이블, 벡터 DB까지 아우르는 데이터 플랫폼으로 진화했습니다. 2026년 신기능과 오픈소스 대안을 함께 정리합니다.

TL;DR

• S3 Files (New): S3를 POSIX 파일 시스템처럼 마운트 — NFS/SMB 호환
• S3 Tables (New): Apache Iceberg 관리형 테이블 — 트랜잭션 쿼리
• S3 Vectors (New): 벡터 저장 + 유사도 검색 — RAG/AI 파이프라인
• s3fs-fuse (오픈소스): FUSE로 S3를 로컬 디렉토리에 마운트 — 무료 대안
• S3 Metadata (Updated): Iceberg 기반 쿼리 가능 메타데이터

S3의 2026 진화

Amazon S3는 2006년 출시 이후 지속적으로 진화해 왔으며, 2026년에는 단순한 객체 스토리지를 넘어 종합적인 데이터 플랫폼으로 자리잡았습니다.

2006년 객체 스토리지로 시작한 S3는 버전관리·암호화(2012), S3 Select(2018), S3 Express One Zone(2022)을 거쳐, 2026년에는 Files, Tables, Vectors, Metadata를 모두 아우르는 플랫폼이 되었습니다.

핵심 변화는 파일·테이블·벡터를 하나의 S3 스토리지에서 통합 운영할 수 있게 된 점입니다. 11개 9의 내구성, 무제한 스토리지, 세분화된 액세스 제어라는 공통 기반 인프라 위에 다양한 접근 인터페이스가 올라가는 구조입니다.

1. S3 Files — S3를 파일 시스템으로

S3 Files는 S3 데이터를 파일 시스템으로 직접 마운트하여 POSIX 호환 파일 접근을 제공하는 기능입니다.

기존에는 S3 SDK(GetObject, PutObject)를 호출하려면 코드 수정이 필요했고, 파일 시스템 의미 체계(잠금, append 등)를 사용할 수 없었습니다. S3 Files는 이를 해결합니다.

지원 컴퓨트 환경

EC2, ECS, EKS, Lambda에서 모두 파일 시스템 인터페이스로 S3에 접근할 수 있습니다. 기존 파일 기반 애플리케이션 코드를 수정 없이 그대로 사용할 수 있는 것이 핵심 장점입니다.

핵심 특징

마운트 예시

# S3 Files 마운트 (EC2 인스턴스에서)
aws s3files mount \
    --bucket my-shared-data-bucket \
    --mount-point /mnt/s3-data \
    --region ap-northeast-2

# 일반 파일처럼 접근 가능
ls /mnt/s3-data/
cp large-file.csv /mnt/s3-data/

데이터 공유 연계

데이터 제공자가 S3 버킷에 데이터를 저장하면, 소비자가 S3 Files로 파일 시스템에 마운트하여 직접 접근할 수 있습니다. 데이터 다운로드나 동기화가 불필요하며, Access Point 정책으로 세분화된 접근 제어가 가능합니다.

실전: s3fs-fuse로 S3를 로컬 디렉토리에 마운트하기

s3fs-fuse는 FUSE(Filesystem in Userspace) 기반의 오픈소스 도구로, S3 버킷을 로컬 디렉토리처럼 마운트해 줍니다. S3 Files의 관리형 기능이 필요 없거나 비용을 절감하고 싶을 때 무료 대안으로 사용할 수 있습니다.

s3fs-fuse란? Linux/Unix에서 S3 버킷을 로컬 파일 시스템으로 마운트하는 FUSE 기반 오픈소스 프로젝트입니다. S3 API를 파일 시스템 호출로 변환하여 일반 파일처럼 읽고 쓸 수 있게 합니다.

설치

# Ubuntu/Debian
sudo apt install s3fs

# CentOS/RHEL
sudo yum install s3fs

자격 증명 설정

echo "ACCESS_KEY:SECRET_KEY" > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

마운트

mkdir /mnt/s3data
s3fs my-bucket /mnt/s3data \
  -o passwd_file=~/.passwd-s3fs \
  -o url=https://s3.ap-northeast-2.amazonaws.com \
  -o endpoint=ap-northeast-2 \
  -o allow_other \
  -o use_path_request_style

자동 마운트 (fstab)

s3fs#my-bucket /mnt/s3data fuse _netdev,allow_other,passwd_file=/home/user/.passwd-s3fs,url=https://s3.ap-northeast-2.amazonaws.com 0 0

사용 예시

ls /mnt/s3data/
cp large-file.csv /mnt/s3data/data/
echo "hello" > /mnt/s3data/test.txt
python train_model.py --data-dir /mnt/s3data/training/

한계 및 주의사항

s3fs-fuse는 편리하지만 S3 Files(Managed)와 비교해 명확한 한계가 있습니다.

S3 Files vs s3fs-fuse vs Mountpoint 비교표

선택 가이드: 엔터프라이즈 워크로드는 S3 Files, 개발/테스트/소규모는 s3fs-fuse, 고성능 읽기 중심 ML/AI는 Mountpoint for S3가 적합합니다.

2. S3 Tables — Apache Iceberg 관리형 테이블

S3 Tables는 Apache Iceberg 기반의 관리형 테이블 서비스로, S3에 저장된 데이터를 테이블 형태로 관리하고 쿼리할 수 있습니다.

테이블 버킷(Table Bucket) 구조

테이블 버킷은 네임스페이스 → 테이블 계층 구조를 가집니다. 각 테이블은 Iceberg 포맷의 Parquet/ORC 파일로 저장되며, Compaction, Snapshot Expiry, Orphan Cleanup이 자동으로 수행됩니다.

핵심 특징

테이블 생성 및 쿼리

import boto3
s3tables = boto3.client('s3tables')
s3tables.create_namespace(
    tableBucketARN=bucket_arn,
    namespace=['sales']
)

-- Athena 쿼리 (S3 Tables)
SELECT region, COUNT(*) AS order_count, SUM(amount) AS total
FROM sales.orders
WHERE order_date >= TIMESTAMP '2025-01-01'
GROUP BY region
ORDER BY total DESC;

데이터 공유 연계

제공자가 Table Bucket에 구조화된 데이터를 저장하면, 소비자가 S3 Grants로 테이블 권한을 받아 Athena, Spark, Trino로 직접 쿼리할 수 있습니다. 스키마 진화가 자동 반영되며, 스냅샷 격리로 일관된 읽기가 보장됩니다.

3. S3 Vectors — 벡터 저장 및 유사도 검색

S3 Vectors는 AI/ML 애플리케이션을 위한 기본 벡터 스토리지로, 고성능 벡터 유사도 검색을 S3 내에서 직접 수행합니다.

핵심 특징

인덱스 생성 및 벡터 쿼리

import boto3
s3vectors = boto3.client('s3vectors')

# Vector Index 생성
s3vectors.create_vector_index(
    vectorBucketName='ai-embeddings',
    indexName='document-embeddings',
    dimension=1536,
    distanceMetric='COSINE'
)

AI 에이전트 간 벡터 공유

AI 팀 A가 문서를 임베딩하여 S3 Vector Bucket에 PutVectors로 저장하면, AI 팀 B가 QueryVectors로 유사도 검색을 수행할 수 있습니다. Access Point 권한 제어로 팀별로 쓰기/읽기 권한을 세분화할 수 있으며, 사내 지식 베이스 공유, 멀티 에이전트 지식 전달, 부서 간 RAG 등에 활용할 수 있습니다.

4. S3 Metadata — 쿼리 가능한 메타데이터

S3 Metadata는 객체 메타데이터를 Apache Iceberg 테이블로 자동 관리하여, SQL로 객체를 검색하고 관리할 수 있게 해줍니다.

객체의 key, size, last_modified, storage_class, custom_metadata가 자동으로 Iceberg 테이블에 동기화됩니다. 객체가 변경되면 실시간으로 반영됩니다.

활용 사례

• “1GB 이상의 PROD 환경 데이터 찾기”
• “30일 이상 미수정 GLACIER 객체 목록”
• “특정 날짜에 업로드된 모든 이미지 검색”

메타데이터 쿼리

-- 1GB 이상의 프로덕션 환경 데이터 찾기
SELECT key, size / 1024 / 1024 / 1024 AS size_gb,
       last_modified, storage_class
FROM s3_metadata_table
WHERE size > 1073741824
  AND custom_metadata['env'] = 'prod'
ORDER BY size DESC LIMIT 100;

통합 아키텍처: S3 as Data Platform

2026년 S3의 핵심은 Objects, Files, Tables, Vectors, Metadata가 유기적으로 연결된 통합 데이터 플랫폼이라는 점입니다.

데이터 플랫폼 계층(Objects, Files, Tables, Vectors, Metadata) 위에 공유 인프라(Access Points, Data Exchange, S3 Grants, Multi-Region AP)가 올라가고, 최상위에 소비 서비스(Athena, Redshift, SageMaker, EMR, QuickSight)가 위치하는 3계층 구조입니다.

S3 플랫폼 가치

Takeaway

1. S3는 더 이상 객체 스토리지가 아닙니다 — 파일, 테이블, 벡터를 모두 아우르는 데이터 플랫폼
2. s3fs-fuse로 무료로 시작하세요 — S3 Files의 관리형 기능이 필요 없다면 s3fs-fuse면 충분
3. S3 Vectors는 RAG 비용을 90% 줄입니다 — 별도 벡터 DB 없이 S3에서 직접 검색

S3 시리즈 6/7

← S3 데이터 공유 아키텍처 — 6가지 패턴과 선택 가이드
	VersityGW로 온프레미스에 S3 API 구축하기 →