운영
Overload
수요가 처리 능력을 넘었을 때 무엇을 보관하고 무엇을 거절할지 정하는 문제
어떤 운영 문제인가요?
Autoscaling만으로는 새 capacity가 준비되는 시간과 downstream 한계를 해결하지 못합니다. bounded queue, concurrency limit, timeout, rate limit과 load shedding을 경계마다 배치합니다.
이 신호가 보이면 떠올리세요
- queue depth 증가
- p99 급등
- timeout과 retry 증가
함께 보면 좋은 주제
이 주제를 가리키는 주제
다른 개념에서 이 페이지로 들어오는 backlink입니다.