共计 3296 个字符,预计需要花费 9 分钟才能阅读完成。
CPU 使用率不高,并不等于网页响应慢与服务器无关。CPU 平均利用率只反映一段时间内 CPU 时间被占用的比例;请求可能停在连接建立、代理排队、应用线程池、数据库连接池、磁盘 I/O 或下游 API。判断顺序应是:先把“慢”量化为用户可见的延迟和错误率,再沿请求路径比较入口总耗时与上游耗时,最后用依赖和主机指标解释等待点。适用条件是你至少能按路由或实例看到请求指标;如果只有一条 CPU 曲线,先补最小观测,不要用单机 top 下结论。
Prometheus 将指标存为带标签的时间序列,并可用 PromQL 查询,因此适合把同一延迟指标按路由、状态码、实例拆开观察(Prometheus 概览)。其文档举的例子包括 Web 服务器的请求时间,以及数据库的活跃连接数或活跃查询数(Prometheus 概览)。这提示排查不应只收 CPU,而应同时收请求率、延迟分布、错误率和上游耗时。
一、先把“慢”拆成可比较的指标
平均响应时间不足以描述网页慢。更合适的是 p50、p95、p99 等分位数,并按 route、method、status、instance 等标签拆分。平均值正常而 p99 升高,说明少数请求在长时间等待;只看平均会把这类问题抹平。Prometheus 直方图文档说明,分位数可由 histogram_quantile() 从直方图桶计算,经典直方图依赖预先配置的桶边界(Prometheus 直方图文档)。
- 请求率:与延迟放在同一时间窗,区分“流量突增导致变慢”和“流量平稳但耗时上升”。
- 错误率:单独看 5xx、超时、限流状态;错误和慢可能同时出现,也可能互相独立。
- 超时与重试:重试会放大上游压力,也会让入口总延迟看起来比单次处理更慢,需要单列。
- 按实例拆分:同一路由在不同实例上的延迟差异,常能指向单机资源、连接池或网络问题。
Prometheus 适合记录和查询数值型时间序列,但不承诺逐请求的绝对精确。其概览明确说明,如果需要 100% 精确的按请求计费,Prometheus 不是合适选择(Prometheus 概览)。因此监控指标用于定位,不要拿它替代账单或审计数据。
二、入口层:代理看到的总时长与上游时长
如果流量经过 Envoy,Envoy 首页称其提供 L7 流量的深度可观测性、一致统计、访问日志和分布式追踪,并称当所有服务流量经过 Envoy 时问题区域更容易显现(Envoy 首页)。在入口层应优先比较四类信号:
- 客户端侧总时长与上游响应时长:总时长高但上游耗时正常,慢可能出在代理排队、网络或客户端;上游耗时高,则继续查应用与依赖。
- HTTP 状态码分布:5xx、超时、客户端主动断开要分开统计。
- 超时与重试次数:重试上升可能掩盖真实的上游失败。
- 连接池或队列等待:并发上来后,入口可能因为可用连接不足而排队。
代理访问日志和应用访问日志要按请求 ID 或时间窗对齐。应用没有错误日志,不能单独证明请求未进入应用;日志级别、采样和异常捕获都会影响记录。反过来,代理有记录也不等于请求已经到达业务处理逻辑,仍需看上游耗时和追踪。
三、应用层:CPU 低时更要看“在等什么”
应用侧至少观察请求处理时间、并发请求数、工作线程或连接池的活跃数与等待队列。若处理时间高而 CPU 低,等待可能发生在磁盘、数据库、外部 API、锁或阻塞调用;这是需要下游指标验证的推断,不能直接归因于代码。
- 线程池/连接池:活跃数接近上限、等待队列变长时,CPU 不高但请求会排队。
- 队列长度:异步任务、消息消费或后台作业堆积,会拖长请求完成时间。
- 运行时等待:按语言和框架选择 GC 暂停、事件循环延迟、锁等待等指标,不要套用不存在的指标名。
- 服务端处理时间:与入口总时长对照,判断慢在应用内还是应用外。
判断方法很直接:服务端处理时间升高,继续查应用依赖和阻塞点;服务端处理时间正常而入口总时长升高,优先查代理排队、网络和客户端。不要用“CPU 低”解释一切。
四、下游与主机:解释等待发生在哪里
数据库可看活跃连接数、活跃查询数(Prometheus 概览将其列为数据库可能的测量对象),以及连接池等待和慢查询。连接池打满时,CPU 可能不高,但请求会在获取连接处排队。外部依赖则看 DNS 解析、下游 API 延迟和 TLS 握手;网络侧看连接建立时间、重传和丢包。
主机侧不要只看 CPU 利用率,还要看内存与 swap、磁盘 I/O 队列、网络错误,以及负载/运行队列。Prometheus 的 Node Exporter 指南把 node_cpu_seconds_total、文件系统可用空间和网络接收列为主机指标示例(Node Exporter 指南);具体能看哪些内存、磁盘和网络指标,取决于启用的 collector 和操作系统。CPU 平均利用率低不能排除短时争用;运行队列升高时,应结合每核利用率和 I/O 等待判断,不能直接归因于磁盘。单个主机指标不能独立证明网页慢的原因。
| 观察层 | 优先指标 | 主要排除 |
|---|---|---|
| 入口代理 | 请求率、状态码、总时长与上游时长、超时/重试 | 慢在代理排队还是上游 |
| 应用 | 处理时间、并发数、线程/连接池等待、队列 | CPU 之外的等待点 |
| 依赖与主机 | 数据库连接/查询、DNS/外部调用、运行队列、磁盘/网络 | 下游或资源饱和 |
五、按症状告警,再按顺序排查
Prometheus 的告警实践建议:在线服务应在栈尽可能高的位置对高延迟和错误率告警,并且只在栈的一层对延迟告警;如果下层组件变慢但整体用户延迟正常,不需要告警(Prometheus 告警实践)。该文还建议用外部黑盒监控补充 Prometheus 的白盒监控(Prometheus 告警实践)。因此在这个排查流程里,依赖和资源指标更适合放在诊断面板,而不是每项都触发告警。
- 确认范围:哪些路由、实例、地区和时间窗变慢;同时看请求率与错误率。
- 看入口:比较总时长与上游耗时,检查状态码、超时、重试和连接排队。
- 看应用:处理时间、并发、线程池/连接池等待和队列长度。
- 看下游:数据库活跃连接与查询、DNS、外部 API、TLS 握手。
- 看主机:内存、swap、磁盘 I/O、网络、负载/运行队列;把 CPU 当作排除项之一,而不是唯一证据。
- 对齐日志与追踪:用请求 ID 把入口、应用和下游串起来;没有追踪时,先按时间窗对齐访问日志和上游日志。
下面两条 PromQL 仅作未执行示例,需把指标名和标签替换为实际环境中的名称。第一条针对 classic histogram(_bucket 序列);如果应用或代理暴露的是 summary 或 native histogram,查询形态不同,不能直接照搬。可在 Prometheus 表达式浏览器中运行,运行前先确认抓取目标暴露了相应指标。
histogram_quantile(
0.95,
sum by (le, route) (
rate(http_request_duration_seconds_bucket[5m])
)
)
这条查询用于按 route 观察 5 分钟窗口的 p95 延迟。若结果为空,先检查指标名、le 标签、抓取目标以及指标是否为 classic histogram;不能据此判定没有慢请求。若使用 native histogram,指标名通常不带 _bucket,不要直接套用本查询。
sum by (route) (rate(http_requests_total{status=~"5.."}[5m])) / sum by (route) (rate(http_requests_total[5m]))
这条查询用于按 route 计算 5xx 请求占比,但只对有 5xx 序列的 route 返回结果;某 route 没有 5xx 序列时,分子为空,不会自动显示为 0。分母为 0 时可能出现 NaN 或无穷值。应先确认该时间窗内是否有请求,再解释结果;需要覆盖所有 route 时,要在查询中补零或分别查看总请求率和 5xx 请求率。
排查时先回答“用户看到的慢发生在哪一层”,再决定是否扩容或改配置。CPU 不高只能说明 CPU 不是当前唯一可疑点,不能替代入口耗时、应用等待和下游依赖的证据。
示例说明
文中的 PromQL 为未执行示例,指标名、标签和直方图类型需按实际环境替换;运行前先确认指标存在。native histogram 与 classic histogram 的查询形态不同,不能直接互换。
常见问题
CPU 不高是否可以直接排除服务器问题?
不能。CPU 利用率只是一个资源维度,且平均值可能掩盖短时争用;请求也可能等在磁盘、网络、连接池、代理队列或下游服务。需要结合延迟分布、错误率、运行队列和上游耗时判断等待位置。
平均响应时间正常,但用户说网页慢,先看什么?
先看 p95、p99 等分位数,并按路由、状态码、实例拆分。平均值会掩盖少数长尾请求;再对照入口代理的总时长、上游耗时、超时和重试。
目前只有 CPU 监控,怎么开始补?
至少补入口请求率、状态码分布、延迟分布和上游耗时;应用侧补请求处理时间、并发数、线程或连接池等待;下游补数据库活跃连接与查询。先确认这些指标确实由应用或代理暴露,再写查询;否则只能缩小排查范围。
引用资料
资料链接仅表示正文使用了该素材,不代表所有结论已独立核验。