Suçlamasız postmortem nasıl yazılır?
Suçlamasız postmortem neyi kaydeder?
Google SRE, postmortem'i bir olayın yazılı kaydı olarak tanımlar. Bu kayıt olayın etkisini, etkiyi azaltmak veya sorunu çözmek için yapılanları, temel nedenleri ve olayın tekrarlanmasını önlemeye yönelik takip aksiyonlarını içerir. Yazımın amaçları arasında olayı kayda geçirmek, katkıda bulunan temel nedenleri anlamak ve tekrarın olasılığını veya etkisini azaltacak önleyici aksiyonları belirlemek yer alır.
Suçlamasız yaklaşımda inceleme, bir kişiyi veya ekibi hatalı davranışla itham etmek yerine olaya katkıda bulunan nedenlere odaklanır. Google SRE, olaya katılan herkesin iyi niyetle hareket ettiğini ve elindeki bilgilerle doğru olanı yaptığını varsayar. Bu yaklaşım, postmortem'i cezalandırma aracı olarak değil, kuruluşun öğrenmesi için bir fırsat olarak ele alır.
Google SRE'ye göre suçlama ve utandırma ortamında insanlar, cezalandırılma korkusuyla sorunları ortaya çıkarmayabilir. Suçlamasız bir inceleme ise bir kişi veya ekibin neden eksik ya da yanlış bilgiye sahip olduğunu araştırır. Sistemler ve süreçler, karmaşık sistemleri tasarlayan ve işleten kişileri destekleyecek şekilde düzeltilebilir.
Hangi olaylar postmortem gerektirir?
Google SRE, önemli ve istenmeyen olayların ardından postmortem hazırlanmasını bekler. Sürecin zaman ve emek maliyeti olduğu için ekipler hangi olayların bu incelemeyi gerektirdiğini belirler. Google'ın örnek tetikleyicileri arasında kullanıcının gördüğü kesinti veya hizmet bozulması, veri kaybı ve nöbetçi mühendisin müdahalesi bulunur. Müdahale, bir değişikliğin geri alınması veya trafiğin başka yöne aktarılması olabilir.
Çözüm süresinin belirlenen eşiği aşması ve monitoring hatası da örnek tetikleyiciler arasındadır. Google SRE, postmortem ölçütlerinin olaydan önce tanımlanmasını önerir; böylece herkes hangi durumlarda inceleme gerektiğini bilir. Nesnel tetikleyicilerin yanında herhangi bir paydaş da bir olay için postmortem isteyebilir.
Olayı ve etkisini anlatmak
Google SRE Workbook, okuyucunun ne olduğunu, sorunun nasıl hafifletildiğini ve kullanıcıların nasıl etkilendiğini anlamasını postmortem'in görevi olarak tanımlar. Özellikle birden fazla hizmeti etkileyen kesintilerde etkiyi tutarlı biçimde göstermek için sayısal bilgiler kullanılmasını önerir. Kesin veri bulunmadığında, iyi bilgilendirilmiş bir tahminin hiç veri olmamasından daha yararlı olduğunu belirtir.
Workbook'taki olumlu örneğin etki bölümü, farklı bakış açılarından ayrıntılar içerir. Örnekte önbellek isabet oranları, trafik düzeyleri ve etkinin süresi gibi ölçümler kullanılır. İlgili verilerin bulunduğu yerlere bağlantı verilmesi, okuyucuya bağlam sunar ve belirsizliği azaltır.
Olay sırasında yapılanlar da kaydın parçasıdır. Workbook, incelediği olumsuz örnekte Recovery Efforts bölümünün boş bırakıldığını belirtir. Bu bölüm, sorunun nasıl hafifletildiği ve kullanıcıların nasıl etkilendiği gibi soruların yanıtlarının sıklıkla bulunduğu yerdir. Google SRE'nin yaklaşımında etki değerlendirmesinin tamamlanması da inceleme ölçütlerinden biridir.
Okuyucular olayın yaşandığı ekiple sınırlı değildir. Workbook, teknik terimler için Background veya Glossary bölümlerinde bağlam verilmesini önerir. İncelediği olumsuz örnekte bu bölümler boş bırakılmıştır. Olumlu örnekte ise Glossary, metnin daha geniş bir kitle tarafından anlaşılmasına yardımcı olur.
Workbook'un olumlu örneğinde uzun sohbet kayıtları ve sistem günlükleri de ele alınır. Bunlar postmortem içinde özetlenir; düzenlenmemiş hallerine ana metinden bağlantı verilir. Aynı örnekte grafiklere aşina olmayan okuyucular için grafiklerin açıklamaları bulunur.
Temel nedenleri suçlama olmadan incelemek
Google SRE Workbook, temel nedenlerin ve olayı tetikleyen durumun belirlenmesini postmortem yazmanın önemli amaçları arasında sayar. İncelediği olumsuz örnekte bu konular kısa bir paragrafta anlatılır, ancak sorunun alt düzey ayrıntıları araştırılmaz. Olumlu örnekte ise inceleme, arızanın hemen gerçekleştiği alanla sınırlı kalmaz; birden fazla ekibi ilgilendiren etkileri ve sistem kusurlarını da ele alır.
Suçlamasız anlatım, kimin olaya neden olduğundan çok neyin yanlış gittiğine odaklanır. Workbook'un olumlu örneğinde Things that went poorly bölümünde hiçbir kişi veya ekip suçlanmaz. Root cause and trigger bölümü olayın nedenini ve tetikleyicisini inceler. Aksiyonlar da kişileri değiştirmeye çalışmak yerine sistemi iyileştirmeyi hedefler.
Workbook, kişileri açıkça hedef göstermenin ekip üyelerini herkesin önünde utandırılma korkusuyla riskten kaçınmaya yöneltebileceğini belirtir. Aynı korku, olayın anlaşılması ve tekrarının önlenmesi açısından önemli bilgilerin saklanmasına da yol açabilir. Google SRE, bireyleri ve ekipleri suçlama veya utandırma yerine katkıda bulunan koşulların incelenmesini savunur.
Dil de bu incelemenin bir parçasıdır. Google SRE Workbook, postmortem'in kişisel yargılardan ve öznel ifadelerden arınmış, olgulara dayalı bir kayıt olması gerektiğini söyler. Farklı bakış açılarını ele almasını ve başkalarına saygılı olmasını ister. Dramatik ifadeler dikkati asıl mesajdan uzaklaştırabilir; Workbook, bir durumun ciddiyetini desteklemek için doğrulanabilir veriler kullanılmasını önerir.
Aksiyonları tanımlamak ve izlemek
Google SRE Workbook'a göre aksiyonu olmayan bir postmortem etkili değildir. İncelediği olumlu örnekte her aksiyonun bir sahibi ve takip numarası vardır. Her aksiyona bir öncelik düzeyi atanmıştır ve tamamlanıp tamamlanmadığı doğrulanabilir. Aksiyonlar ayrıca kesintinin tekrarını önlemeye veya etkisini azaltmaya yönelik işler içerir.
Workbook, olumsuz örnekteki aksiyonların çoğunun mevcut etkiyi hafifletmeye dönük olduğunu belirtir. Tekrar olasılığını azaltmak için önleyici aksiyonların ve düzeltmelerin de yer almasını önerir. Aynı örnekte bütün aksiyonlara eşit öncelik verilmesi, hangisinin önce ele alınacağının belirlenmesini güçleştirir.
Aksiyonun nasıl ifade edildiği de sonucun ölçülmesini etkiler. Workbook, yalnızca iyileştirmek veya daha iyi hale getirmek gibi ifadeleri belirsiz bulur; bu ifadeler başarı ölçütünün anlaşılmasını ve ölçülmesini zorlaştırır. Olumlu örnekte ise aksiyonların doğrulanabilir bir bitiş durumu vardır. Büyük bir olaydaki aksiyonların temalara göre gruplanması da sahip ve öncelik atamayı kolaylaştırır.
Sahiplik iki düzeyde ele alınır. Workbook, postmortem için takipten ve tamamlanmadan sorumlu tek bir irtibat kişisi ile birden fazla katkı sunan kişi önerir. Aksiyonların da açık sahipleri olmalıdır; Workbook'a göre sahibi belirsiz aksiyonların çözüme kavuşma olasılığı daha düşüktür. Google, postmortem'lerden çıkan aksiyonları hata takip sistemine kaydederek kapanışlarını izler.
Workbook'un olumsuz örneğinde yalnızca bir aksiyonun takip kaydı vardır. Google SRE Workbook, resmi bir takip süreci olmadığında postmortem aksiyonlarının unutulabildiğini belirtir. Google'ın kullandığı takip sisteminde ise her postmortem'den çıkan aksiyonların kapanışı izlenebilir.
İnceleme ve paylaşım
Google SRE'de ekipler ilk taslağı kendi içlerinde paylaşır ve deneyimli mühendislerden oluşan bir gruptan eksiksizlik değerlendirmesi ister. Bu değerlendirmede olayla ilgili önemli verilerin toplanıp toplanmadığına ve etki değerlendirmesinin tamamlanıp tamamlanmadığına bakılır. Temel neden incelemesinin yeterince derine inmesi, aksiyon planının uygunluğu ve sonuçların ilgili paydaşlarla paylaşılması da örnek ölçütlerdir.
Google SRE, tamamlanan her taslağın incelenmesi için düzenli postmortem inceleme oturumlarını teşvik eder. Bu oturumlarda açık tartışmalar ve yorumlar sonuca bağlanır, fikirler kaydedilir ve metne son hali verilir. Katılımcılar içerikten ve aksiyonlardan memnun olduğunda postmortem, ekibin veya kuruluşun geçmiş olayları tuttuğu yere eklenir.
Google SRE Workbook, olay katılımcılarının yazıma dahil edilmesini de ele alır. Postmortem tek başına veya yalnızca bir ekip tarafından yazıldığında kesintiye katkıda bulunan önemli etkenler gözden kaçabilir. Açık bir inceleme süreci ve iletişim planı, suçlayıcı dilin ve bakış açılarının kuruluş içinde yayılmasını önlemeye yardımcı olabilir.
İlk incelemenin ardından Google SRE, postmortem'i daha geniş bir mühendislik kitlesiyle veya kurum içi bir iletişim listesinde paylaşır. Amaç, edinilen bilgilerden yararlanabilecek kişilere ulaşmaktır. Google'ın yaklaşımında son kullanıcıyı tanımlayabilecek bilgiler, kurum içindeki postmortem'lerde de yer almaz.
Google SRE Workbook, ekipler arası incelemeleri de paylaşım yöntemleri arasında sayar. Bu oturumlarda bir ekip yaşadığı olayı anlatır; diğer ekipler soru sorar ve olaydan öğrenir. Google SRE'nin anlattığı okuma gruplarında da katılımcılar olayın nasıl yaşandığını, ne öğretildiğini ve sonrasında neler olduğunu tartışır.
Sürecin sınırları
Google SRE, postmortem hazırlamanın zaman ve emek gerektirdiğini belirtir. Workbook'a göre başka işlerle aşırı yüklenmiş bir ekibin postmortem kalitesi düşebilir. Eksik aksiyonlar içeren zayıf bir postmortem de olayın tekrarlanma olasılığını artırır. Workbook, yazım ve incelemenin takip edilmesini ve ekiplerin ilgili aksiyon planını uygulamak için yeterli zamana sahip olmasını önerir.
Postmortem yazımının her adımı tamamen otomatikleştirilemez. Google SRE Workbook'a göre şablonlar ve araçlar yazımı ve ilişkili verilerin yönetimini kolaylaştırabilir. Böylece yazarlar temel neden analizi ve aksiyon planlaması gibi işlere zaman ayırabilir. Google SRE ayrıca incelemenin bir formalite olarak unutulmaması, belirlenen aksiyonların uygulamaya konması gerektiğini vurgular.