실제 인시던트 대응 경험 (STAR 방식)

 

블랙프라이데이 기간 중 주문 API 응답 지연 장애가 발생했으며, 실시간 모니터링 및 로그 분석을 통해 데이터베이스의 Lock Contention 문제를 확인하고, Rate Limiting, 캐싱, Auto Scaling을 적용하여 15분 내에 정상화했습니다. 이후, 인덱스 최적화 및 분산 트랜잭션(Saga Pattern) 도입을 통해 장애 재발을 방지했습니다.

 

 

SRE 인터뷰에서 실제 인시던트 대응 경험을 공유할 때는 STAR 방식(Situation, Task, Action, Result)으로 답변하면 효과적입니다.
즉, 어떤 장애가 발생했는지(Situation) → 해결해야 할 문제(Task) → 어떤 조치를 취했는지(Action) → 결과(Result) 순서로 설명합니다.

---

📌 1️⃣ 장애 상황 (S: Situation)

"제가 대응했던 가장 큰 인시던트 중 하나는 마이크로서비스 환경에서 주문 API의 응답 시간이 급격히 증가한 장애였습니다.
정상적인 API 응답 속도는 200ms였지만, 평균 3~5초까지 증가하면서 사용자 주문이 지연되고 있었습니다.
이 문제는 블랙프라이데이 프로모션 중 발생했으며, 단 몇 분 안에 수천 건의 주문이 대기 상태로 남게 되어 매출 손실 위험이 있는 긴급 장애였습니다."

✅ 핵심 포인트:

• API 응답 시간이 200ms → 3~5초 증가
• 블랙프라이데이 트래픽 급증 상황
• 주문 대기 증가로 매출 손실 위험

---

📌 2️⃣ 해결해야 할 문제 (T: Task)

"제 역할은 빠르게 장애 원인을 분석하고, 서비스 정상화를 위한 임시 해결책을 적용하는 것이었습니다.
또한, 근본 원인을 파악하여 추가 장애를 방지하는 장기적 해결책을 수립하는 것이 필요했습니다."

✅ 핵심 포인트:

• 장애 원인 분석 및 신속한 대응
• 근본적인 해결책 도출

---

📌 3️⃣ 장애 해결 과정 (A: Action)

✔ 장애 감지 및 분석 (Monitoring & Diagnosis)

1. Prometheus + Grafana 대시보드를 확인하여 API 응답 시간이 급격히 증가한 지점 파악
2. ELK Stack (Elasticsearch + Kibana) 로그 분석을 통해 500 오류 증가 확인
3. **Jaeger(Distributed Tracing)**을 사용하여 주문 API의 처리 흐름을 분석

✔ 장애 원인 파악 (Root Cause Analysis)

• 분석 결과, 데이터베이스(주문 서비스의 MySQL)에서 특정 테이블의 Lock Contention(잠금 경합)이 발생
• 대량의 동시 주문이 발생하면서 트랜잭션 충돌로 인해 처리 속도가 느려진 것

✔ 임시 조치 (Mitigation & Hotfix)

• Read Replica(읽기 전용 DB)로 일부 요청을 분산
• Rate Limiting 적용하여 신규 주문 요청의 속도를 조절
• **Cache 적용(Redis)**하여 주문 상태 조회 쿼리를 DB에서 가져오지 않도록 개선

✔ 근본 해결책 (Permanent Fix)

• 주문 테이블 인덱스 최적화 → 특정 쿼리에 인덱스 추가
• 분산 트랜잭션 관리 (Saga Pattern) 도입 → 결제 승인과 주문 처리를 분리
• Auto Scaling 적용 → 주문 서비스의 Kubernetes Pod 수를 자동 확장

✅ 핵심 포인트:

• Prometheus, Grafana, Jaeger를 활용한 원인 분석
• 주문 서비스의 DB Lock Contention 문제 확인
• 캐싱 및 Rate Limiting 적용하여 즉각적인 부하 완화
• 장기적으로 주문 테이블 인덱싱 최적화 및 Saga Pattern 적용

---

📌 4️⃣ 장애 해결 결과 (R: Result)

✅ 임시 조치 후 15분 내에 API 응답 속도 200ms로 회복
✅ Rate Limiting 및 캐싱 적용으로 트랜잭션 처리량 2배 증가
✅ 주문 데이터베이스 최적화 이후 장애 재발 방지

*"장애 발생 후 15분 내에 서비스 응답 속도를 정상화했으며, 이후 근본적인 최적화를 수행하여 동일한 유형의 장애가 재발하지 않도록 했습니다.
결과적으로 트랜잭션 처리량이 2배 증가했으며, 이후 유사한 트래픽 급증 상황에서도 *서비스가 정상적으로 운영되었습니다."

---

📌 5️⃣ 결론 및 학습한 점

✔ 장애 대응을 위해 실시간 모니터링 및 트레이싱이 필수적임을 확인
✔ 즉각적인 완화 조치(Rate Limiting, 캐싱)와 근본적인 해결책(인덱싱, 트랜잭션 분리)을 조합하여 장애를 해결하는 것이 중요함
✔ 대규모 트래픽 이벤트(예: 블랙프라이데이)에 대비하여 사전 부하 테스트(Load Testing) 필요