분산 데이터베이스 설계: 핵심 개념과 설계 원칙

1. 분산 데이터베이스란?

분산 데이터베이스(Distributed Database)는 데이터가 하나의 중앙 서버가 아닌, 여러 개의 물리적 또는 논리적 노드에 분산되어 저장되는 데이터베이스 시스템을 의미한다. 이는 하나의 데이터베이스를 여러 개의 서버 또는 데이터센터에서 분산 관리하여 성능을 향상시키고, 장애 복원력(Fault Tolerance)을 확보하며, 데이터 접근 속도를 최적화하는 데 목적이 있다.

분산 데이터베이스는 클라이언트-서버 모델을 기반으로 하며, 네트워크를 통해 데이터가 상호 작용하게 된다. 이에 따라, 데이터의 일관성(Consistency), 가용성(Availability), 네트워크 파티션 허용(Partition Tolerance)을 고려해야 하는 CAP 정리가 중요한 이론적 배경이 된다.

2. 분산 데이터베이스 설계의 필요성

분산 데이터베이스를 설계하는 이유는 다음과 같다.

• 확장성(Scalability): 중앙 집중형 데이터베이스의 성능 한계를 극복하고, 증가하는 데이터 및 트래픽을 효과적으로 처리하기 위해 필요하다.
• 고가용성(High Availability): 시스템 장애 시에도 데이터 접근성을 보장하고, 지속적인 서비스 운영이 가능하도록 하기 위함이다.
• 성능 향상(Performance Improvement): 데이터가 여러 개의 노드에 분산됨으로써 병렬 처리가 가능해지고, 로드 밸런싱이 최적화된다.
• 지리적 분산(Global Distribution): 전 세계적으로 사용자 기반이 있는 경우, 특정 지역에서 데이터 접근 속도를 향상시킬 수 있다.
• 장애 복원력(Fault Tolerance): 한 노드가 다운되더라도 다른 노드를 통해 데이터 접근이 가능하도록 설계할 수 있다.

3. 분산 데이터베이스의 유형

분산 데이터베이스는 크게 두 가지 유형으로 나눌 수 있다.

1. 수평 분할(Sharding)

• 데이터를 특정 기준(예: 사용자 ID, 지역, 카테고리 등)에 따라 여러 노드로 분할하는 방식이다.
• 예: NoSQL 데이터베이스인 MongoDB, Cassandra 등이 수평 분할을 지원한다.

2. 수직 분할(Vertical Partitioning)

• 데이터의 속성(컬럼)을 기준으로 분할하는 방식이다.
• 예: 관계형 데이터베이스에서 사용자 정보 테이블과 결제 정보 테이블을 분리하여 관리하는 방식.

이 외에도 혼합형(Hybrid Partitioning) 방식이 있으며, 특정 시스템에서는 여러 분산 전략을 조합하여 활용하기도 한다.

4. 분산 데이터베이스의 주요 설계 원칙

분산 데이터베이스를 설계할 때 고려해야 할 주요 원칙은 다음과 같다.

CAP 정리

CAP 정리는 분산 데이터베이스가 일관성(Consistency), 가용성(Availability), 네트워크 파티션 허용(Partition Tolerance) 중 두 가지만 만족할 수 있다는 이론이다.

• CA (Consistency + Availability): 네트워크가 항상 연결된 상태에서 데이터의 일관성을 유지하고 높은 가용성을 제공한다. (예: 단일 노드 관계형 데이터베이스)
• CP (Consistency + Partition Tolerance): 네트워크 장애가 발생해도 데이터의 일관성을 유지하는 것을 우선한다. (예: NewSQL 데이터베이스)
• AP (Availability + Partition Tolerance): 네트워크 장애 시에도 데이터 가용성을 유지하는 것을 우선하며, 일관성을 일부 희생한다. (예: NoSQL 데이터베이스)

데이터 분할(Partitioning)

데이터 분할 전략을 올바르게 설정해야 한다.

• 범위 기반 분할(Range Partitioning): 특정 값의 범위를 기준으로 데이터를 분할하는 방식.
• 해시 기반 분할(Hash Partitioning): 특정 키 값에 대해 해시 함수를 적용하여 데이터를 분산하는 방식.
• 리스트 기반 분할(List Partitioning): 특정 리스트 값(예: 국가 코드, 제품 카테고리) 기준으로 데이터를 분할하는 방식.

데이터 복제(Replication)

분산 데이터베이스에서는 데이터를 여러 노드에 복제하여 가용성을 높일 수 있다.

• 마스터-슬레이브 복제(Master-Slave Replication): 한 노드가 데이터를 쓰고, 다른 노드가 읽는 역할을 수행.
• 마스터-마스터 복제(Master-Master Replication): 여러 노드에서 데이터를 읽고 쓸 수 있도록 하는 방식.
• Paxos 및 Raft 알고리즘을 활용하여 데이터 일관성을 유지하는 경우도 있다.

데이터 일관성 모델

분산 데이터베이스는 일관성 모델을 선택할 때 강한 일관성(Strong Consistency)과 최종적 일관성(Eventual Consistency) 사이에서 균형을 맞춰야 한다.

• 강한 일관성: 모든 노드에서 동일한 데이터를 유지(예: ACID 트랜잭션이 필요한 금융 서비스).
• 약한 일관성: 일정 시간이 지나면 데이터가 동기화됨(예: SNS 피드 업데이트).

5. 분산 데이터베이스에서 사용할 수 있는 SQL 예제 코드

분산 환경에서는 일반적인 RDBMS와는 다르게 샤딩, 복제, 분산 트랜잭션 등의 개념이 필요하다. 예제로 다음과 같은 내용을 다룬다.

• 샤딩(Sharding) 적용 예제
• 복제(Replication) 설정 예제
• 분산 트랜잭션(Distributed Transaction) 예제
• NoSQL 분산 데이터베이스에서 SQL 사용 예제 (NewSQL)

(1) 샤딩(Sharding) 적용 예제

샤딩은 데이터를 여러 서버에 나누어 저장하는 방식이다. 예를 들어, 사용자 데이터를 user_id 기준으로 나누는 MySQL 샤딩 예제를 보자.

-- 샤드 1 (Shard 1): user_id가 1~50000인 데이터 저장
CREATE DATABASE shard1;
USE shard1;

CREATE TABLE users (
    user_id INT PRIMARY KEY,
    name VARCHAR(100),
    email VARCHAR(255)
);

-- 샤드 2 (Shard 2): user_id가 50001~100000인 데이터 저장
CREATE DATABASE shard2;
USE shard2;

CREATE TABLE users (
    user_id INT PRIMARY KEY,
    name VARCHAR(100),
    email VARCHAR(255)
);

-- 샤드 1에 데이터 삽입
USE shard1;
INSERT INTO users (user_id, name, email) VALUES (1001, 'Alice', 'alice@example.com');

-- 샤드 2에 데이터 삽입
USE shard2;
INSERT INTO users (user_id, name, email) VALUES (60001, 'Bob', 'bob@example.com');

샤딩 로직 (애플리케이션 레벨)

애플리케이션에서는 user_id 값을 기준으로 샤드를 선택해야 한다.

def get_shard(user_id):
    if user_id <= 50000:
        return "shard1"
    else:
        return "shard2"

(2) 복제(Replication) 설정 예제

복제는 데이터의 가용성을 높이기 위해 사용된다. MySQL에서 마스터-슬레이브 복제를 설정하는 기본 예제는 다음과 같다.

마스터(MySQL Master) 설정

-- 마스터 서버에서 실행
GRANT REPLICATION SLAVE ON *.* TO 'replica_user'@'%' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;

SHOW MASTER STATUS;

(출력 예: mysql-bin.000001, Position: 154)

슬레이브(MySQL Slave) 설정

-- 슬레이브 서버에서 실행
CHANGE MASTER TO 
    MASTER_HOST='master_server_ip',
    MASTER_USER='replica_user',
    MASTER_PASSWORD='password',
    MASTER_LOG_FILE='mysql-bin.000001',
    MASTER_LOG_POS=154;

START SLAVE;
SHOW SLAVE STATUS;

이제 슬레이브 노드에서 마스터의 데이터를 자동으로 복제할 수 있다.

(3) 분산 트랜잭션(Distributed Transaction) 예제

분산 데이터베이스에서는 여러 노드에서 데이터를 관리해야 하므로 트랜잭션 처리가 복잡해진다. MySQL의 XA 트랜잭션을 활용한 예제는 다음과 같다.

XA START 'txn1';

INSERT INTO shard1.users (user_id, name, email) VALUES (2001, 'Charlie', 'charlie@example.com');
INSERT INTO shard2.users (user_id, name, email) VALUES (70001, 'David', 'david@example.com');

XA END 'txn1';
XA PREPARE 'txn1';

-- 커밋 (모든 분산 트랜잭션을 완료)
XA COMMIT 'txn1';

이 방법을 사용하면 여러 데이터베이스 노드에서 원자성을 유지하면서 트랜잭션을 처리할 수 있다.

(4) NoSQL 및 NewSQL에서 SQL 사용 예제

분산 데이터베이스에서는 NewSQL 같은 시스템도 많이 사용된다. 예를 들어 Google Spanner나 CockroachDB 같은 NewSQL 데이터베이스는 SQL을 지원하면서도 강한 일관성을 제공한다.

CockroachDB 예제

CockroachDB는 PostgreSQL과 호환되며, 글로벌 트랜잭션을 지원하는 분산 데이터베이스이다.

-- CockroachDB 클러스터에서 실행
CREATE DATABASE company;

USE company;

CREATE TABLE employees (
    emp_id SERIAL PRIMARY KEY,
    name STRING,
    department STRING,
    salary DECIMAL
);

INSERT INTO employees (name, department, salary) VALUES ('Alice', 'Engineering', 70000);
INSERT INTO employees (name, department, salary) VALUES ('Bob', 'HR', 60000);

SELECT * FROM employees WHERE department = 'Engineering';

Google Spanner 예제

Google Spanner는 글로벌 분산 데이터베이스이지만 SQL을 지원한다.

CREATE TABLE Users (
    UserID INT64 NOT NULL,
    Name STRING(100),
    Email STRING(100)
) PRIMARY KEY (UserID);

INSERT INTO Users (UserID, Name, Email) VALUES (1, 'Eve', 'eve@example.com');

SELECT * FROM Users WHERE UserID = 1;

6. 분산 데이터베이스 설계 시 고려해야 할 사항

분산 데이터베이스를 구축할 때 다음 사항을 고려해야 한다.

• 데이터 모델 선택: 관계형(RDBMS)인지 NoSQL인지 결정.
• 샤딩 키(Sharding Key) 선정: 데이터 균형을 유지할 수 있도록 적절한 키를 설정해야 한다.
• 트랜잭션 처리: 분산 트랜잭션의 경우, ACID 보장을 위해 분산 트랜잭션 프로토콜(Two-Phase Commit, Paxos 등)을 사용할지 고려해야 한다.
• 장애 대응 전략: 장애 발생 시 페일오버(Failover) 및 복구 전략을 마련해야 한다.
• 보안(Security): 데이터 암호화, 인증 및 접근 제어를 설정해야 한다.

7. 대표적인 분산 데이터베이스 시스템

현재 널리 사용되는 대표적인 분산 데이터베이스 시스템은 다음과 같다.

• Google Spanner: 글로벌 분산 데이터베이스로, 강한 일관성을 제공.
• Amazon DynamoDB: NoSQL 기반으로 대규모 트래픽을 처리.
• Apache Cassandra: 높은 확장성과 가용성을 가진 분산 데이터베이스.
• MongoDB: 문서 지향형 NoSQL 데이터베이스로 수평 확장이 용이함.
• CockroachDB: NewSQL 기반으로, 분산 트랜잭션을 지원.

8. 결론

분산 데이터베이스 설계는 데이터의 일관성, 가용성, 성능, 확장성을 종합적으로 고려해야 하는 복잡한 과정이다. CAP 정리, 데이터 분할, 복제, 일관성 모델과 같은 핵심 개념을 이해하고, 시스템의 요구 사항에 맞는 데이터베이스 시스템을 선택하는 것이 중요하다.

향후 클라우드 컴퓨팅, 엣지 컴퓨팅 등의 발전과 함께 분산 데이터베이스 기술도 지속적으로 발전할 것으로 예상되며, 데이터 처리의 효율성과 안정성을 극대화하는 설계가 점점 더 중요해질 것이다.