KPI 告警配置

欢迎回到第 14 章的学习。在上一节，我们学习了 KPI Dashboard 设计。现在我们要学习 KPI 告警配置。

本节将学习：KPI 阈值设置、告警规则设计、通知策略、以及告警优化。

KPI 阈值设置

KPI 告警配置的作用是什么？ 配置 KPI 告警，及时发现问题，确保 KPI 达标。

KPI 阈值设置的作用是什么？ 设置 KPI 阈值，定义告警触发条件。

如何设置 KPI 阈值？ 根据业务目标设置：

• 目标值：理想 KPI 值
• 警告值：需要关注的阈值
• 危险值：需要立即处理的阈值
• 持续时间：告警持续时间

KPI 阈值示例：

告警规则设计

告警规则设计的作用是什么？ 设计合理的告警规则，避免误报和漏报。

如何设计告警规则？ 遵循原则：

• 明确的告警条件
• 合理的阈值设置
• 告警持续时间
• 告警级别划分

告警规则示例：

groups:
  - name: kpi_alerts
    rules:
      - alert: HighP95Latency
        expr: histogram_quantile(0.95, sum(rate(http_request_duration_seconds_bucket[5m])) by (le)) > 0.5
        for: 5m
        labels:
          severity: warning
          kpi: p95_latency
        annotations:
          summary: "P95 Delays more than 500ms"
          description: "serving {{ $labels.service }} ofthe P95 The delay is {{ $value }}s"
      
      - alert: HighErrorRate
        expr: sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m])) > 0.01
        for: 5m
        labels:
          severity: critical
          kpi: error_rate
        annotations:
          summary: "The error rate exceeds 1%"
          description: "serving {{ $labels.service }} The error rate is {{ $value | humanizePercentage }}"
      
      - alert: LowAvailability
        expr: sum(rate(up{job="order-service"}[5m])) / count(up{job="order-service"}) < 0.99
        for: 10m
        labels:
          severity: critical
          kpi: availability
        annotations:
          summary: "Availability is lower than 99%"
          description: "serving {{ $labels.job }} The availability of {{ $value | humanizePercentage }}"

通知策略

通知策略的作用是什么？ 配置通知策略，确保告警能够及时送达。

如何配置通知策略？ 设置：

• 通知渠道：邮件、Slack、PagerDuty
• 通知频率：避免告警风暴
• 通知对象：相关人员
• 通知内容：清晰的告警信息

通知策略配置示例：

route:
  group_by: ['kpi', 'severity']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 12h
  receiver: 'kpi-receiver'
  routes:
    - match:
        severity: critical
      receiver: 'critical-receiver'
      group_by: ['kpi']
    - match:
        severity: warning
      receiver: 'warning-receiver'

receivers:
  - name: 'kpi-receiver'
    email_configs:
      - to: team@example.com
        subject: 'KPI Alerts: {{ .GroupLabels.kpi }}'
        html: '{{ range .Alerts }}{{ .Annotations.description }}{{ end }}'
  
  - name: 'critical-receiver'
    slack_configs:
      - api_url: https://hooks.slack.com/services/xxx
        channel: '#alerts-critical'
        title: 'KPI Alerts: {{ .GroupLabels.kpi }}'
        text: '{{ range .Alerts }}{{ .Annotations.description }}{{ end }}'

告警优化

告警优化的作用是什么？ 优化告警规则，减少误报，提高告警质量。

如何进行告警优化？ 优化方向：

• 调整阈值：基于实际情况调整
• 优化规则：简化复杂规则
• 告警分组：将相关告警分组
• 告警抑制：抑制重复告警

告警优化示例：

# Alarm suppression: When a high level alarm is triggered, lower level alarms are suppressed
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['kpi', 'service']
  
  # Alert groups: will be the same KPI alert groups
  group_by: ['kpi', 'service']
  group_wait: 30s
  group_interval: 5m
  
  # Alarm deduplication: avoid repeated alarms
  repeat_interval: 12h

本节小结

在本节中，我们学习了 KPI 告警配置：

第一个是 KPI 阈值设置。 设置 KPI 阈值，定义告警触发条件。

第二个是告警规则设计。 设计合理的告警规则，避免误报和漏报。

第三个是通知策略。 配置通知策略，确保告警能够及时送达。

第四个是告警优化。 优化告警规则，减少误报，提高告警质量。

KPI 告警配置流程： 设置阈值 → 设计规则 → 配置通知 → 测试验证 → 优化改进。

这就是 KPI 告警配置。通过 KPI 告警配置，我们能够及时发现和响应 KPI 问题。

在下一节，我们将学习实践：为 ShoeHub 定义 KPI。通过完整实践，整合前面学习的所有知识。