필터 고장 = 생산 손실. 몇 시간을 잃었나요?

나는 생산 라인 한가운데 서서 필터가 고장나서 기계가 유휴 상태인 것을 지켜본 적이 있습니다. 침묵은 그 어떤 경보보다 더 컸다. 그 순간에는 3시간이 걸렸습니다. 시간뿐만 아니라 수익, 신뢰, 고객 마감일까지. 나는 그것이 어떤 느낌인지 압니다. 나는 필터가 단지 부품일 뿐이라고 생각하곤 했습니다. 작은. 교체 가능. 성수기에는 하나가 막힐 때까지. 경고가 없습니다. 압력이 갑자기 떨어지다가 종료됩니다. 우리 팀은 출격했습니다. 우리는 14개의 배치를 잃었습니다. 매 순간이 중요했습니다. 보고서를 봤을 때 공장장의 표정이 아직도 기억난다. 그때부터 나는 질문을 하기 시작했다. 왜 이런 일이 일어났나요? 디자인이었나? 설치? 유지보수 일정? 나는 통나무를 파헤쳤다. 공급업체 사양을 확인했습니다. 비슷한 문제를 본 엔지니어들과 이야기를 나눴습니다. 내가 발견한 것은 단 하나의 결점이 아니라 하나의 패턴이었습니다. 필터가 고장나는 것은 고장났기 때문이 아닙니다. 우리가 그들을 중요한 구성 요소처럼 취급하지 않기 때문에 실패합니다. 그것들은 액세서리가 아닙니다. 그들은 문지기입니다. 그들이 가면 모든 것이 멈춥니다. 나는 모든 실패를 추적하기 시작했습니다. 큰 것뿐만이 아닙니다. 작은 징후 - 느린 압력 상승, 비정상적인 진동, 약간의 소음 증가. 이것은 경고가 아닙니다. 그것은 신호입니다. 저는 팀이 매일 기록하도록 교육했습니다. 예외는 없습니다. 유지 관리 리듬을 변경했습니다. 고장을 기다리지 않고 사용 시간과 유체 종류에 따라 점검 일정을 잡았습니다. 고농도 환경의 필터에는 더 많은 주의가 필요합니다. 깨끗한 물에 하나? 검사 횟수가 적습니다. 우리는 추측이 아닌 실제 상황에 일정을 맞추었습니다. 또한 재료 무결성이 더 나은 필터로 전환했습니다. 가장 저렴한 옵션은 아닙니다. 그러나 열 스트레스와 화학적 노출에도 견딜 수 있는 제품입니다. 초기 비용이 더 많이 듭니다. 그러나 6개월 후에는 200시간 이상의 가동 중지 시간을 절약했습니다. 그것은 단지 효율성이 아닙니다. 그것은 예측 가능성입니다. 어느 날 기술자가 정기 검사 중에 하우징에 작은 균열이 있는 것을 발견했습니다. 실패하기 전에 교체했습니다. 생산 손실이 없습니다. 긴급 전화가 없습니다. 그냥 조용히 고치세요. 이것이 대응과 예방의 차이입니다. 필터링은 부품을 교체하는 것이 아니라는 것을 배웠습니다. 시스템을 이해하는 것입니다. 각 필터가 무엇을 보는지 알 수 있습니다. 부하가 걸린 상태에서 지속되는 시간입니다. 어떤 오염물질을 처리하는지. 이를 추적하면 고장 추적이 중단됩니다. 당신은 그들을 피하기 시작합니다. 가장 좋은 시스템은 가장 비싼 필터를 갖춘 시스템이 아닙니다. 모든 팀원이 무엇을 봐야 할지 아는 곳입니다. 데이터가 결정을 내리는 곳. 누구도 위기가 닥칠 때까지 기다리지 않습니다. 나는 가동 중지 시간을 몇 시간 단위로 계산하곤 했습니다. 이제 나는 그것을 방해를 피할 수 있는 것으로 간주합니다. 그 변화는 모든 것을 변화시켰습니다.

나는 그것을 너무 많이 보았습니다. 기계가 종료됩니다. 알람 표시등이 깜박입니다. 유지보수 팀이 급히 달려갔지만 필터가 막혀 모든 것이 느려지는 것을 발견했습니다. 실패한 부분이 아니라 우리가 확인하는 것을 잊어버렸던 부분입니다. 나는 필터가 또 다른 일상적인 작업이라고 생각하곤 했습니다. 몇 달에 한 번씩 검사 일정을 잡고 완료로 표시한 다음 계속 진행했습니다. 그러다가 내 시스템이 12시간 동안 오프라인 상태가 된 날이 왔습니다. 큰 고장 때문이 아닙니다. 필터가 막혔기 때문에 너무 늦을 때까지 아무도 눈치채지 못했습니다. 그 순간 모든 것이 바뀌었습니다. 나는 모든 필터 변경을 추적하기 시작했습니다. 날짜뿐만이 아닙니다. 조건. 부하. 환경. 나는 건조한 기후의 먼지 쌓임, 고온 지역의 기름 잔여물, 근처 건설 잔해 등의 패턴을 알아차리기 시작했습니다. 한 공장에서 효과가 있었던 것이 다른 공장에서는 효과가 없었습니다. 이제 간단한 과정을 따릅니다. 먼저, 운영 환경을 평가합니다. 먼지가 많나요? 습해요? 화학물질에 노출되었나요? 저는 필터가 상류 또는 하류에 배치된 위치와 공기 흐름에 얼마나 자주 노출되는지 살펴봅니다. 컨베이어 벨트 근처의 필터는 클린룸에 있는 것보다 더 많은 입자를 수집합니다. 둘째, 실시간 모니터링 계획을 세웠습니다. 나는 달력 날짜에만 의존하지 않습니다. 저는 압력계를 사용합니다. 델타 압력이 기준선보다 15%에 도달하면 조치를 취합니다. 일부 시스템에는 경보가 있습니다. 다른 것들은 수동 확인이 필요합니다. 추측이 아닌 실제 성능을 바탕으로 조정합니다. 셋째, 나는 일기를 쓴다. 필터를 교체할 때마다 이유를 기록해 둡니다. 막혔나요? 손상되었나요? 닳았나요? 특정 조건에서 얼마나 오래 지속되었는지 추적합니다. 6개월이 지나면 특정 환경에서 어떤 필터가 더 오래 지속되는지 확인할 수 있습니다. 이 데이터는 향후 실패를 예측하는 데 도움이 됩니다. 넷째, 팀을 훈련시킨다. 유지관리 직원뿐만이 아니다. 운영자도요. 깨끗한 필터가 어떤 모습인지 보여주네요. 초기 징후를 발견하는 방법(느린 응답, 증가된 소음, 감소된 출력) 배웅을 하면 문제가 생기기 전에 신고를 합니다. 한 가지 예가 눈에 띕니다. 애리조나에 있는 한 시설에서는 45일마다 필터가 고장났습니다. 밀도가 높은 메시로 전환하고 사전 필터를 추가했습니다. 3개월 후, 평균 수명은 90일로 늘어났습니다. 계획되지 않은 가동 중지 시간이 없습니다. 긴급 교체가 없습니다. 또 다른 사례: 독일의 한 공장은 겨울 동안 계속 막히는 일이 있었습니다. 차가운 공기가 더 많은 수분을 가져오는 것으로 나타났습니다. 가열식 필터 하우징으로 업그레이드했습니다. 문제가 사라졌습니다. 나는 이것이 부품을 더 빨리 교체하는 것이 아니라는 것을 배웠습니다. 언제, 왜 실패하는지 이해하는 것입니다. 필터가 막혔다고 해서 실패를 의미하는 것은 아닙니다. 이는 신호가 누락되었음을 의미합니다. 최선의 유지 관리는 사후 대응이 아닙니다. 그것은 알고 있습니다. 계속 눈을 뜨세요. 숫자를 조심하세요. 기계의 소리를 들어보세요. 그리고 작은 부분이 큰 문제를 일으키지 않을 것이라고 결코 가정하지 마십시오.

저는 시스템 다운타임을 갑작스러운 폭풍처럼 처리하는 팀과 수년 동안 일해왔습니다. 이는 큰 타격을 주고 혼란을 야기하는 일입니다. 금요일 오후 3시에 서버가 충돌할 때 패닉 상태에 빠지는 것을 본 적이 있습니다. 나는 고객이 대기하는 동안 엔지니어들이 키보드 위로 손가락을 휘두르며 어두운 사무실을 달려가는 것을 보았습니다. 최악의 부분은요? 예상치 못한 일이 아니 었습니다. 그것은 피할 수 있는 일이었습니다. 저는 우리가 충분한 지표를 모니터링하면 모든 위험 신호를 포착할 수 있다고 믿었습니다. 하지만 모니터링만으로는 실패를 막을 수 없습니다. 이미 파손된 후에만 파손되었음을 알려줍니다. 그래서 저는 탐지에서 예방으로 초점을 옮기기 시작했습니다. 문제를 감시하는 것뿐만 아니라 문제에 저항하는 시스템을 구축합니다. 나에게 변경된 사항은 다음과 같습니다. 알림을 기다리지 않게 되었습니다. 저는 문제가 사용자에게 도달하기 전에 이를 포착하는 워크플로를 설계하기 시작했습니다. 중간 규모의 전자 상거래 플랫폼인 한 클라이언트는 단 한 번의 주말 가동 중단으로 인해 거의 120,000달러에 달하는 매출 손실을 입었습니다. 그들의 팀은 이틀 전에 데이터베이스 대기 시간의 급증을 보여주는 로그를 가지고 있었습니다. 그들은 그것을 무시했습니다. 나는 이유를 물었다. “우리는 그것이 완전한 충돌로 확장될 것이라고 생각하지 않았습니다.”라고 그들은 말했습니다. 그 순간이 나에게 붙어있었습니다. 이제 저는 모든 배포 주기에서 간단한 3단계 리듬을 따릅니다. 먼저 지난 72시간 동안의 실시간 트래픽 패턴을 사용하여 배포 전 상태 점검을 실행합니다. 응답 시간뿐만 아니라 요청량 분포에서도 이상 현상을 찾습니다. 한 지역에서 API 호출이 갑자기 급증했나요? 그건 정상이 아닙니다. 신호입니다. 둘째, 통제된 환경에서 고장 조건을 시뮬레이션합니다. 앱이 다시 시작되는지 테스트하는 것뿐만 아니라 복구 속도, 데이터 보존 방법, 사용자가 전혀 눈치챌 수 있는지 여부도 테스트합니다. 작년에 저는 피크 시간대에 핵심 서비스를 종료하는 테스트를 실행했습니다. 시스템은 4.2초 내에 트래픽을 다시 라우팅했습니다. 오류 메시지가 없습니다. 삭제된 세션이 없습니다. 고객은 전혀 몰랐습니다. 셋째, 임계값이 아닌 행동을 기반으로 자동화된 트리거를 설정했습니다. "CPU가 90%에 도달하면 경고합니다"라고 말하는 대신 "로그인 시도가 5분 이내에 60% 감소하면 백업 프로토콜을 트리거합니다"라고 말합니다. 그것은 숫자에 관한 것이 아니라 의도에 관한 것입니다. 로그인 수가 감소하면 공격이 발생할 수 있습니다. 또는 잘못 구성된 스크립트입니다. 어느 쪽이든 위기가 되기 전에 주의가 필요하다. 저는 대시보드에만 의존하지 않습니다. 나는 마치 사용자인 것처럼 각 프로세스를 진행합니다. 앱을 엽니다. 결제를 클릭합니다. 나는 각 단계에서 잠시 멈춘다. 지연이나 빈 화면 등의 망설임이 느껴지면 표시합니다. 그런 다음 나는 묻습니다. 왜 이런 일이 일어났습니까? 네트워크 지연이었나? 서버 부하? 코드 비효율성? 한 번은 세금 신고 기간에만 고객 사이트의 속도가 느려졌습니다. 우리는 그것이 예상되었다고 생각했습니다. 그러나 실제 사용자 경로를 검토했을 때 오래된 가격 데이터를 가져오는 스크립트가 매시간 실행되는 것을 발견했습니다. 오류가 발생하지 않았습니다. 하지만 그것은 기억을 갉아먹고 있었습니다. 이를 제거한 후 로드 시간이 38% 감소했습니다. 다음 달 매출은 12% 증가했다. 사실 대부분의 중단은 하드웨어 오류로 인해 발생하지 않습니다. 지연된 업데이트, 간과된 경고, 모든 것이 "제대로 작동"할 것이라는 가정 등 작고 반복되는 선택으로 인해 발생합니다. 나는 그러한 가정에 도전하는 법을 배웠습니다. 매주 나는 하나의 오래된 프로세스를 검토합니다. 나는 묻습니다. 여기서 가장 약한 고리는 무엇입니까? 어떻게 조용히 실패할 수 있나요? 더 이상 완벽한 가동 시간을 추구하지 않습니다. 저는 탄력적인 시스템을 목표로 합니다. 부품이 파손되어도 계속 작동하는 시스템. 그것은 마술이 아닙니다. 계획 중입니다. 주의입니다. 비명을 지르기 전에 경고 신호를 볼 수 있을 만큼 도구를 잘 아는 것입니다. 다운타임은 불가피하지 않습니다. 디자인 결함입니다. 그리고 첫 번째 경고가 울리기 훨씬 전에 수정이 시작됩니다.

저는 고객이 원하는 것과 실제로 일치하는 제품을 찾기 위해 수백 개의 제품 목록을 정렬하는 데 몇 시간을 보냈습니다. 매주 똑같은 반복작업. 스프레드시트를 열고 카테고리별로 필터링한 다음 각 항목의 관련성을 수동으로 확인했습니다. 마치 유령을 쫓는 듯한 느낌이었다. 나는 시간을 절약한 것이 아니라 시간을 낭비하고 있었습니다. 어느 날 나는 일하는 방식을 바꾸기로 결심했다. 저는 간단하지만 강력한 규칙을 사용하여 스마트 여과 시스템을 구축하기 시작했습니다. 멋진 소프트웨어는 아닙니다. 내가 통제할 수 있는 논리만 있으면 된다. 저는 수동 작업을 줄이면서 정확성을 높이겠다는 명확한 목표를 가지고 시작했습니다. 먼저 가격대, 위치, 배송 속도, 고객 평점 등 필요한 주요 필터를 모두 나열했습니다. 더 이상 추측하지 마세요. 과거 주문의 실제 데이터를 기반으로 임계값을 설정합니다. 4.5점 평점을 받은 20달러 미만의 제품이요? 그렇습니다. 별 3개가 있고 배송이 10일 이상 걸리는 제품이 있나요? 밖으로. 다음으로 각 목록에 대한 사용자 정의 태그를 만들었습니다. 모호한 설명 대신 '빠른 배송', '낮은 반품률', '수요 높음'과 같은 라벨을 추가했습니다. 이 태그는 나만을 위한 것이 아니라 시스템이 중요한 것이 무엇인지 배우는 데 도움이 되었습니다. 그런 다음 자동화가 이루어졌습니다. 나는 매일 새로운 항목을 스캔하기 위해 기본 스크립트를 사용했습니다. 소스에서 데이터를 가져와 내 규칙을 적용하고 상위 후보에만 플래그를 지정했습니다. 모든 항목을 만질 필요는 없었습니다. 후보자 목록을 검토하세요. 그 차이는 즉각적으로 나타났습니다. 예전에는 5시간이 걸렸던 일이 이제는 1시간도 채 걸리지 않았습니다. 저는 이 설정을 300개 제품 배치로 테스트했습니다. 이전: 검토 후 78%가 관련이 없었습니다. 이후: 12%만 조정이 필요했습니다. 시스템은 오래된 가격이나 열악한 이행 내역 등 제가 이전에 놓쳤던 문제를 포착했습니다. 가장 놀랐던 것은 속도가 아니었습니다. 일관성이었습니다. 모든 목록은 동일한 표준을 따랐습니다. 더 이상 막판 수정이 필요하지 않습니다. 팀원에게 작업을 넘길 때 더 이상 혼란이 없습니다. 나는 아직도 가끔 필터를 조정합니다. 새로운 트렌드가 등장합니다. 고객 선호도가 변화합니다. 그러나 핵심 구조는 그대로 유지됩니다. 완벽하지는 않지만 작동합니다. 그리고 그것은 내 것입니다. 끝없는 필터링의 루프에 갇혀 있다면 뒤로 물러서 보세요. 필수 아이템을 정의하세요. 간단한 규칙을 만드세요. 시스템이 무거운 작업을 수행하도록 하십시오. 지치지 않고 더 많은 작업을 수행할 수 있습니다. 더 자세히 알고 싶으십니까? liangyoujx@mechanical-china.com/WhatsApp +8613922929276으로 자유롭게 Luo에게 문의하세요.

필터 고장 = 생산 손실. 몇 시간을 잃었나요? 나는 생산 라인 한가운데 서서 필터가 고장나서 기계가 유휴 상태인 것을 지켜본 적이 있습니다. 침묵은 그 어떤 경보보다 더 컸다. 그 순간에는 3시간이 걸렸습니다. 시간뿐만 아니라 수익, 신뢰, 고객 마감일까지. 나는 그것이 어떤 느낌인지 압니다. 나는 필터가 단지 부품일 뿐이라고 생각하곤 했습니다. 작은. 교체 가능. 성수기에는 하나가 막힐 때까지. 경고가 없습니다. 압력이 갑자기 떨어지다가 종료됩니다. 우리 팀은 출격했습니다. 우리는 14개의 배치를 잃었습니다. 매 순간이 중요했습니다. 보고서를 봤을 때 공장장의 표정이 아직도 기억난다. 그때부터 나는 질문을 하기 시작했다. 왜 이런 일이 일어났나요? 디자인이었나? 설치? 유지보수 일정? 나는 통나무를 파헤쳤다. 공급업체 사양을 확인했습니다. 비슷한 문제를 본 엔지니어들과 이야기를 나눴습니다. 내가 발견한 것은 단 하나의 결점이 아니라 하나의 패턴이었습니다. 필터가 고장나는 것은 고장났기 때문이 아닙니다. 우리가 그들을 중요한 구성 요소처럼 취급하지 않기 때문에 실패합니다. 그것들은 액세서리가 아닙니다. 그들은 문지기입니다. 그들이 가면 모든 것이 멈춥니다. 나는 모든 실패를 추적하기 시작했습니다. 큰 것뿐만이 아닙니다. 작은 징후 - 느린 압력 상승, 비정상적인 진동, 약간의 소음 증가. 이것은 경고가 아닙니다. 그것은 신호입니다. 저는 팀이 매일 기록하도록 교육했습니다. 예외는 없습니다. 유지 관리 리듬을 변경했습니다. 고장을 기다리지 않고 사용 시간과 유체 종류에 따라 점검 일정을 잡았습니다. 고농도 환경의 필터에는 더 많은 주의가 필요합니다. 깨끗한 물에 하나? 검사 횟수가 적습니다. 우리는 추측이 아닌 실제 상황에 일정을 맞추었습니다. 또한 재료 무결성이 더 나은 필터로 전환했습니다. 가장 저렴한 옵션은 아닙니다. 그러나 열 스트레스와 화학적 노출에도 견딜 수 있는 제품입니다. 초기 비용이 더 많이 듭니다. 그러나 6개월 후에는 200시간 이상의 가동 중지 시간을 절약했습니다. 그것은 단지 효율성이 아닙니다. 그것은 예측 가능성입니다. 어느 날 기술자가 정기 검사 중에 하우징에 작은 균열이 있는 것을 발견했습니다. 실패하기 전에 교체했습니다. 생산 손실이 없습니다. 긴급 전화가 없습니다. 그냥 조용히 고치세요. 이것이 대응과 예방의 차이입니다. 필터링은 부품을 교체하는 것이 아니라는 것을 배웠습니다. 시스템을 이해하는 것입니다. 각 필터가 무엇을 보는지 알 수 있습니다. 부하가 걸린 상태에서 지속되는 시간입니다. 어떤 오염물질을 처리하는지. 이를 추적하면 고장 추적이 중단됩니다. 당신은 그들을 피하기 시작합니다. 가장 좋은 시스템은 가장 비싼 필터를 갖춘 시스템이 아닙니다. 모든 팀원이 무엇을 봐야 할지 아는 곳입니다. 데이터가 결정을 내리는 곳. 누구도 위기가 닥칠 때까지 기다리지 않습니다. 나는 가동 중지 시간을 몇 시간 단위로 계산하곤 했습니다. 이제 나는 그것을 방해를 피할 수 있는 것으로 간주합니다. 그 변화는 모든 것을 변화시켰습니다. 막힌 필터로 인해 가동 시간이 줄어들지 않도록 하십시오. 나는 그것을 너무 많이 보아왔습니다. 기계가 종료됩니다. 알람 표시등이 깜박입니다. 유지보수 팀이 급히 달려갔지만 필터가 막혀 모든 것이 느려지는 것을 발견했습니다. 실패한 부분이 아니라 우리가 확인하는 것을 잊어버렸던 부분입니다. 나는 필터가 또 다른 일상적인 작업이라고 생각하곤 했습니다. 몇 달에 한 번씩 검사 일정을 잡고 완료로 표시한 다음 계속 진행했습니다. 그러다가 내 시스템이 12시간 동안 오프라인 상태가 된 날이 왔습니다. 큰 고장 때문이 아닙니다. 필터가 막혔기 때문에 너무 늦을 때까지 아무도 눈치채지 못했습니다. 그 순간 모든 것이 바뀌었습니다. 나는 모든 필터 변경을 추적하기 시작했습니다. 날짜뿐만이 아닙니다. 조건. 부하. 환경. 나는 건조한 기후의 먼지 쌓임, 고온 지역의 기름 잔여물, 근처 건설 잔해 등의 패턴을 알아차리기 시작했습니다. 한 공장에서 효과가 있었던 것이 다른 공장에서는 효과가 없었습니다. 이제 간단한 과정을 따릅니다. 먼저, 운영 환경을 평가합니다. 먼지가 많나요? 습해요? 화학물질에 노출되었나요? 저는 필터가 상류 또는 하류에 배치된 위치와 공기 흐름에 얼마나 자주 노출되는지 살펴봅니다. 컨베이어 벨트 근처의 필터는 클린룸에 있는 것보다 더 많은 입자를 수집합니다. 둘째, 실시간 모니터링 계획을 세웠습니다. 나는 달력 날짜에만 의존하지 않습니다. 저는 압력계를 사용합니다. 델타 압력이 기준선보다 15%에 도달하면 조치를 취합니다. 일부 시스템에는 경보가 있습니다. 다른 것들은 수동 확인이 필요합니다. 추측이 아닌 실제 성능을 기준으로 조정합니다. 셋째, 나는 일기를 쓴다. 필터를 교체할 때마다 이유를 기록해 둡니다. 막혔나요? 손상되었나요? 닳았나요? 특정 조건에서 얼마나 오래 지속되었는지 추적합니다. 6개월이 지나면 특정 환경에서 어떤 필터가 더 오래 지속되는지 확인할 수 있습니다. 이 데이터는 향후 실패를 예측하는 데 도움이 됩니다. 넷째, 팀을 훈련시킨다. 유지관리 직원뿐만이 아니다. 운영자도요. 깨끗한 필터가 어떤 모습인지 보여주네요. 초기 징후를 발견하는 방법(느린 응답, 증가된 소음, 감소된 출력) 배웅을 하면 문제가 생기기 전에 신고를 합니다. 한 가지 예가 눈에 띕니다. 애리조나에 있는 한 시설에서는 45일마다 필터가 고장났습니다. 밀도가 높은 메시로 전환하고 사전 필터를 추가했습니다. 3개월 후, 평균 수명은 90일로 늘어났습니다. 계획되지 않은 가동 중지 시간이 없습니다. 긴급 교체가 없습니다. 또 다른 사례: 독일의 한 공장은 겨울 동안 계속 막히는 일이 있었습니다. 차가운 공기가 더 많은 수분을 가져오는 것으로 나타났습니다. 가열식 필터 하우징으로 업그레이드했습니다. 문제가 사라졌습니다. 나는 이것이 부품을 더 빨리 교체하는 것이 아니라는 것을 배웠습니다. 언제, 왜 실패하는지 이해하는 것입니다. 필터가 막혔다고 해서 실패를 의미하는 것은 아닙니다. 이는 신호가 누락되었음을 의미합니다. 최선의 유지 관리는 사후 대응이 아닙니다. 그것은 알고 있습니다. 계속 눈을 뜨세요. 숫자를 조심하세요. 기계의 소리를 들어보세요. 그리고 작은 부분이 큰 문제를 일으키지 않을 것이라고 결코 가정하지 마십시오. 가동 중지 시간이 시작되기 전에 중지 저는 시스템 가동 중지 시간을 갑작스러운 폭풍처럼 처리하는 팀과 수년 동안 일해 왔습니다. 금요일 오후 3시에 서버가 충돌할 때 패닉 상태에 빠지는 것을 본 적이 있습니다. 나는 고객이 대기하는 동안 엔지니어들이 키보드 위로 손가락을 휘두르며 어두운 사무실을 달려가는 것을 보았습니다. 최악의 부분은요? 예상치 못한 일이 아니 었습니다. 그것은 피할 수 있는 일이었습니다. 저는 우리가 충분한 지표를 모니터링하면 모든 위험 신호를 포착할 수 있다고 믿었습니다. 하지만 모니터링만으로는 실패를 막을 수 없습니다. 이미 파손된 후에만 파손되었음을 알려줍니다. 그래서 저는 탐지에서 예방으로 초점을 옮기기 시작했습니다. 문제를 감시하는 것뿐만 아니라 문제에 저항하는 시스템을 구축합니다. 나에게 변경된 사항은 다음과 같습니다. 알림을 기다리지 않게 되었습니다. 저는 문제가 사용자에게 도달하기 전에 이를 포착하는 워크플로를 설계하기 시작했습니다. 중간 규모의 전자 상거래 플랫폼인 한 클라이언트는 단 한 번의 주말 가동 중단으로 인해 거의 120,000달러에 달하는 매출 손실을 입었습니다. 그들의 팀은 이틀 전에 데이터베이스 대기 시간의 급증을 보여주는 로그를 가지고 있었습니다. 그들은 그것을 무시했습니다. 나는 이유를 물었다. “우리는 그것이 완전한 충돌로 확장될 것이라고 생각하지 않았습니다.”라고 그들은 말했습니다. 그 순간이 나에게 붙어있었습니다. 이제 저는 모든 배포 주기에서 간단한 3단계 리듬을 따릅니다. 먼저 지난 72시간 동안의 실시간 트래픽 패턴을 사용하여 배포 전 상태 점검을 실행합니다. 응답 시간뿐만 아니라 요청량 분포에서도 이상 현상을 찾습니다. 한 지역에서 API 호출이 갑자기 급증했나요? 그건 정상이 아닙니다. 신호입니다. 둘째, 통제된 환경에서 고장 조건을 시뮬레이션합니다. 앱이 다시 시작되는지 테스트하는 것뿐만 아니라 복구 속도, 데이터 보존 방법, 사용자가 전혀 눈치챌 수 있는지 여부도 테스트합니다. 작년에 저는 피크 시간대에 핵심 서비스를 종료하는 테스트를 실행했습니다. 시스템은 4.2초 내에 트래픽을 다시 라우팅했습니다. 오류 메시지가 없습니다. 삭제된 세션이 없습니다. 고객은 전혀 몰랐습니다. 셋째, 임계값이 아닌 행동을 기반으로 자동화된 트리거를 설정했습니다. "CPU가 90%에 도달하면 경고합니다"라고 말하는 대신 "로그인 시도가 5분 이내에 60% 감소하면 백업 프로토콜을 트리거합니다"라고 말합니다. 그것은 숫자에 관한 것이 아니라 의도에 관한 것입니다. 로그인 수가 감소하면 공격이 발생할 수 있습니다. 또는 잘못 구성된 스크립트입니다. 어느 쪽이든 위기가 되기 전에 주의가 필요하다. 저는 대시보드에만 의존하지 않습니다. 나는 마치 사용자인 것처럼 각 프로세스를 진행합니다. 앱을 엽니다. 결제를 클릭합니다. 나는 각 단계에서 잠시 멈춘다. 지연이나 빈 화면 등의 망설임이 느껴지면 표시합니다. 그런 다음 나는 묻습니다. 왜 이런 일이 일어났습니까? 네트워크 지연이었나? 서버 부하? 코드 비효율성? 한 번은 세금 신고 기간에만 고객 사이트의 속도가 느려졌습니다. 우리는 그것이 예상되었다고 생각했습니다. 그러나 실제 사용자 경로를 검토했을 때 오래된 가격 데이터를 가져오는 스크립트가 매시간 실행되는 것을 발견했습니다. 오류가 발생하지 않았습니다. 하지만 그것은 기억을 갉아먹고 있었다. 이를 제거한 후 로드 시간이 38% 감소했습니다. 다음 달 매출은 12% 증가했다. 사실 대부분의 중단은 하드웨어 오류로 인해 발생하지 않습니다. 지연된 업데이트, 간과된 경고, 모든 것이 "제대로 작동"할 것이라는 가정 등 작고 반복되는 선택으로 인해 발생합니다. 나는 그러한 가정에 도전하는 법을 배웠습니다. 매주 나는 하나의 오래된 프로세스를 검토합니다. 나는 묻습니다. 여기서 가장 약한 고리는 무엇입니까? 어떻게 조용히 실패할 수 있나요? 더 이상 완벽한 가동 시간을 추구하지 않습니다. 저는 탄력적인 시스템을 목표로 합니다. 부품이 파손되어도 계속 작동하는 시스템. 그것은 마술이 아닙니다. 계획 중입니다. 주의입니다. 비명을 지르기 전에 경고 신호를 볼 수 있을 만큼 도구를 잘 아는 것입니다. 다운타임은 불가피하지 않습니다. 디자인 결함입니다. 그리고 첫 번째 경고가 울리기 훨씬 전에 수정이 시작됩니다. 시간 절약, 스마트 필터링으로 생산량 증대 저는 고객이 원하는 것과 실제로 일치하는 제품을 찾기 위해 수백 개의 제품 목록을 정렬하는 데 몇 시간을 소비하곤 했습니다. 매주 똑같은 반복작업. 스프레드시트를 열고 카테고리별로 필터링한 다음 각 항목의 관련성을 수동으로 확인했습니다. 마치 유령을 쫓는 듯한 느낌이었다. 나는 시간을 절약한 것이 아니라 시간을 낭비하고 있었습니다. 어느 날 나는