Tenangkan pager · FahamLah

Masalahnya

Boss! Pager Kedai Kancil bergetar 20 kali semalam. Tukang masak on-call dah penat. Bilik 1: susun loceng-loceng ini.

Seret kad ke dalam kotak. Atau ketik kad, kemudian ketik kotak.

Cuba

Bilik 2: loceng barisan berkelip sepanjang malam. Anda cuma boleh tunggu 1 minit. Jadikan ia berbunyi dalam satu tempoh.

Bina rule alert daripada blok. Garis masa papar bila ia menunggu dan bila ia berbunyi.

Rule anda: rules.yml

1groups:
2- name: kedai
3rules:
4- alert: QueueLong
5expr: kedai_queue_length > 25
6labels:
7severity: ticket

Nilai yang alert perhatikan

Graf sebagai jadual

Graf sebagai jadual
Masa	`kedai_queue_length{stall="nasi-lemak"}`
0s	10
1m	12
2m	30
3m	9
4m	31
5m	11
6m	29
7m	33
8m	8
9m	35
10m	36
11m	38
12m	40
13m	42
14m	41
15m	39
16m	12
17m	10
18m	9
19m	8
20m	7
21m	30
22m	9
23m	8
24m	7
25m	6
26m	5
27m	5
28m	5
29m	5
30m	5

Apa alert buat sepanjang masa

Kelabu: senyap. Kuning: pending (benar, tetapi menunggu). Merah: firing.

{severity="ticket", stall="nasi-lemak"}
🔔 firing pada 2m · 🔔 firing pada 4m · 🔔 firing 6m hingga 7m · 🔔 firing 9m hingga 15m · 🔔 firing pada 21m

Lihat pada masa: 12m

Pada 12m:

FIRING QueueLong severity="ticket", stall="nasi-lemak"

Garis masa sebagai jadual

Masa	`{severity="ticket", stall="nasi-lemak"}`
0s	senyap
1m	senyap
2m	🔔 firing
3m	senyap
4m	🔔 firing
5m	senyap
6m	🔔 firing
7m	🔔 firing
8m	senyap
9m	🔔 firing
10m	🔔 firing
11m	🔔 firing
12m	🔔 firing
13m	🔔 firing
14m	🔔 firing
15m	🔔 firing
16m	senyap
17m	senyap
18m	senyap
19m	senyap
20m	senyap
21m	🔔 firing
22m	senyap
23m	senyap
24m	senyap
25m	senyap
26m	senyap
27m	senyap
28m	senyap
29m	senyap
30m	senyap

Petunjuk

avg_over_time(…[5m]) licinkan lantunan cepat sebelum semakan.

Cuba

Bilik 3: bila seluruh kedai mati, senyapkan loceng tiket yang berpunca daripadanya. Tambah baris target_matchers.

Ubah YAML ini. Kotak di bawah tunjuk cara komputer membacanya.

alertmanager.yml9 baris

Cara komputer membacanya

routemap · 2 kunci
- receiverteam-chatteks
- group_bysenarai · 2 item
  - item 1alertnameteks
  - item 2jobteks
receiverssenarai · 1 item
- item 1map · 1 kunci
  - nameteam-chatteks
inhibit_rulessenarai · 1 item
- item 1map · 2 kunci
  - source_matcherssenarai · 1 item
    - item 1alertname="ShopDown"teks
  - equalsenarai · 1 item
    - item 1jobteks

Cuba

Bilik 4: satu loceng SLO ganti lima loceng ralat. Panggil untuk pembakaran laju sahaja.

Bina rule alert daripada blok. Garis masa papar bila ia menunggu dan bila ia berbunyi.

Rule anda: rules.yml

1groups:
2- name: kedai
3rules:
4- alert: FastBurn
5expr: job:shop_error_ratio:rate5m > 0.001
6for: 2m
7labels:
8severity: ticket

Nilai yang alert perhatikan

Graf sebagai jadual

Graf sebagai jadual
Masa	`job:shop_error_ratio:rate5m{job="shop"}`
0s	–
1m	0.0005
2m	0.0005
3m	0.0005
4m	0.0005
5m	0.0005
6m	0.0005
7m	0.0005
8m	0.0005
9m	0.0005
10m	0.0005
11m	0.0005
12m	0.0005
13m	0.0005
14m	0.0005
15m	0.0005
16m	0.0005
17m	0.0005
18m	0.0005
19m	0.0005
20m	0.011899999999999999
21m	0.0219
22m	0.0319
23m	0.0419
24m	0.037625
25m	0.025249999999999998
26m	0.012874999999999998
27m	0.0005
28m	0.0005
29m	0.0005
30m	0.0005
31m	0.0005
32m	0.0005
33m	0.0005
34m	0.0005
35m	0.0005
36m	0.0005
37m	0.0005
38m	0.0005
39m	0.0005
40m	0.0005
41m	0.0005
42m	0.0005
43m	0.0005
44m	0.0005
45m	0.0005
46m	0.0005
47m	0.0005
48m	0.0005
49m	0.0005
50m	0.0005
51m	0.0005
52m	0.0005
53m	0.0005
54m	0.0005
55m	0.0005
56m	0.0005
57m	0.0005
58m	0.0005
59m	0.0005
1h	0.0005
1h1m	0.012874999999999998
1h2m	0.025249999999999998
1h3m	0.037625
1h4m	0.049999999999999996
1h5m	0.049999999999999996
1h6m	0.049999999999999996
1h7m	0.049999999999999996
1h8m	0.049999999999999996
1h9m	0.049999999999999996
1h10m	0.049999999999999996
1h11m	0.049999999999999996
1h12m	0.049999999999999996
1h13m	0.049999999999999996
1h14m	0.049999999999999996
1h15m	0.049999999999999996
1h16m	0.049999999999999996
1h17m	0.049999999999999996
1h18m	0.049999999999999996
1h19m	0.049999999999999996
1h20m	0.049999999999999996
1h21m	0.049999999999999996
1h22m	0.049999999999999996
1h23m	0.049999999999999996
1h24m	0.049999999999999996
1h25m	0.049999999999999996
1h26m	0.049999999999999996
1h27m	0.049999999999999996
1h28m	0.049999999999999996
1h29m	0.049999999999999996
1h30m	0.049999999999999996
1h31m	0.037625
1h32m	0.025249999999999998
1h33m	0.012874999999999998
1h34m	0.0005
1h35m	0.0005
1h36m	0.0005
1h37m	0.0005
1h38m	0.0005
1h39m	0.0005
1h40m	0.0005
1h41m	0.0005
1h42m	0.0005
1h43m	0.0005
1h44m	0.0005
1h45m	0.0005
1h46m	0.0005
1h47m	0.0005
1h48m	0.0005
1h49m	0.0005
1h50m	0.0005
1h51m	0.0005
1h52m	0.0005
1h53m	0.0005
1h54m	0.0005
1h55m	0.0005
1h56m	0.0005
1h57m	0.0005
1h58m	0.0005
1h59m	0.0005
2h	0.0005

Apa alert buat sepanjang masa

Kelabu: senyap. Kuning: pending (benar, tetapi menunggu). Merah: firing.

{job="shop", severity="ticket"}
⏳ pending 20m hingga 21m · 🔔 firing 22m hingga 26m · ⏳ pending 1h1m hingga 1h2m · 🔔 firing 1h3m hingga 1h33m

Lihat pada masa: 1h20m

Pada 1h20m:

FIRING FastBurn job="shop", severity="ticket"

Garis masa sebagai jadual

Masa	`{job="shop", severity="ticket"}`
0s	senyap
1m	senyap
2m	senyap
3m	senyap
4m	senyap
5m	senyap
6m	senyap
7m	senyap
8m	senyap
9m	senyap
10m	senyap
11m	senyap
12m	senyap
13m	senyap
14m	senyap
15m	senyap
16m	senyap
17m	senyap
18m	senyap
19m	senyap
20m	⏳ pending
21m	⏳ pending
22m	🔔 firing
23m	🔔 firing
24m	🔔 firing
25m	🔔 firing
26m	🔔 firing
27m	senyap
28m	senyap
29m	senyap
30m	senyap
31m	senyap
32m	senyap
33m	senyap
34m	senyap
35m	senyap
36m	senyap
37m	senyap
38m	senyap
39m	senyap
40m	senyap
41m	senyap
42m	senyap
43m	senyap
44m	senyap
45m	senyap
46m	senyap
47m	senyap
48m	senyap
49m	senyap
50m	senyap
51m	senyap
52m	senyap
53m	senyap
54m	senyap
55m	senyap
56m	senyap
57m	senyap
58m	senyap
59m	senyap
1h	senyap
1h1m	⏳ pending
1h2m	⏳ pending
1h3m	🔔 firing
1h4m	🔔 firing
1h5m	🔔 firing
1h6m	🔔 firing
1h7m	🔔 firing
1h8m	🔔 firing
1h9m	🔔 firing
1h10m	🔔 firing
1h11m	🔔 firing
1h12m	🔔 firing
1h13m	🔔 firing
1h14m	🔔 firing
1h15m	🔔 firing
1h16m	🔔 firing
1h17m	🔔 firing
1h18m	🔔 firing
1h19m	🔔 firing
1h20m	🔔 firing
1h21m	🔔 firing
1h22m	🔔 firing
1h23m	🔔 firing
1h24m	🔔 firing
1h25m	🔔 firing
1h26m	🔔 firing
1h27m	🔔 firing
1h28m	🔔 firing
1h29m	🔔 firing
1h30m	🔔 firing
1h31m	🔔 firing
1h32m	🔔 firing
1h33m	🔔 firing
1h34m	senyap
1h35m	senyap
1h36m	senyap
1h37m	senyap
1h38m	senyap
1h39m	senyap
1h40m	senyap
1h41m	senyap
1h42m	senyap
1h43m	senyap
1h44m	senyap
1h45m	senyap
1h46m	senyap
1h47m	senyap
1h48m	senyap
1h49m	senyap
1h50m	senyap
1h51m	senyap
1h52m	senyap
1h53m	senyap
1h54m	senyap
1h55m	senyap
1h56m	senyap
1h57m	senyap
1h58m	senyap
1h59m	senyap
2h	senyap

Semak

Bilik 5: malam ini, 1 pagi hingga 2 pagi, pangkalan data dinaik taraf seperti dirancang. Apa anda buat?

Semak

Bilik terakhir: leret ke kanan untuk tabiat yang kekalkan pager tenang.

Leret ke kanan untuk bagus, ke kiri untuk perlu baiki. Atau guna butang.

1 / 4

Setiap amaran yang memanggil ada pautan runbook.

Anda berjaya!

Kini anda boleh tukar pager yang bising kepada beberapa loceng yang penting.

Masa	`kedai_queue_length{stall="nasi-lemak"}`
0s	10
1m	12
2m	30
3m	9
4m	31
5m	11
6m	29
7m	33
8m	8
9m	35
10m	36
11m	38
12m	40
13m	42
14m	41
15m	39
16m	12
17m	10
18m	9
19m	8
20m	7
21m	30
22m	9
23m	8
24m	7
25m	6
26m	5
27m	5
28m	5
29m	5
30m	5

Masa	`kedai_queue_length{stall="nasi-lemak"}`
0s	10
1m	12
2m	30
3m	9
4m	31
5m	11
6m	29
7m	33
8m	8
9m	35
10m	36
11m	38
12m	40
13m	42
14m	41
15m	39
16m	12
17m	10
18m	9
19m	8
20m	7
21m	30
22m	9
23m	8
24m	7
25m	6
26m	5
27m	5
28m	5
29m	5
30m	5

Masa	`kedai_queue_length{stall="nasi-lemak"}`
0s	10
1m	12
2m	30
3m	9
4m	31
5m	11
6m	29
7m	33
8m	8
9m	35
10m	36
11m	38
12m	40
13m	42
14m	41
15m	39
16m	12
17m	10
18m	9
19m	8
20m	7
21m	30
22m	9
23m	8
24m	7
25m	6
26m	5
27m	5
28m	5
29m	5
30m	5