浏览器正常但 curl 失败:按解析、连接、TLS、HTTP 分层定位差异

20次阅读
没有评论

共计 3383 个字符,预计需要花费 9 分钟才能阅读完成。

浏览器能打开页面、curl 却报错,通常说明服务本身可达,差别出在两条请求路径上:浏览器有自己的 DNS 缓存与安全 DNS、走系统或桌面代理设置、接入企业信任库、会按证书里的地址补全证书链、自动跟随重定向并保存 Cookie;curl 则读环境变量里的代理、用系统 CA 包、默认不跟随重定向、按自己的默认头与协议版本发请求。所以排查顺序不是反复重试,而是先把失败固定在某一层,再在该层内比较两者差异。

下面按名字解析、连接与出口、TLS、HTTP 报文、应用策略五层展开。前提是先把变量固定下来:同一台机器、同一个完整 URL、保存一次可复现的输出。文中的命令均为未执行示例,具体参数行为请以本机 man curl 为准。

第 0 层:先读退出码,它已经指出了层

curl 失败时先看退出码,比读报错文本更快:6 表示主机名无法解析,7 表示连接失败,28 表示超时,35 表示 TLS 握手失败,60 表示证书校验失败,52 表示服务器空回复,56 表示接收数据失败。这些数字在不同版本上大体稳定,但具体行为仍以本机文档为准。退出码为 0 而内容不对,属于另一类问题,见第 4、5 层。

curl -v -o body.txt -D headers.txt --trace-time https://example.com/path
# 未执行示例:-v 看握手与头部,-D 存响应头,-o 存响应体

第 1 层:名字解析

浏览器可能启用了 DoH(安全 DNS)或有自己的 DNS 缓存,curl 一般调用系统解析器。这会造成浏览器已经拿到新解析结果、curl 还拿到旧记录或另一组记录的情况。核对方式是对比系统解析结果与权威记录:

getent ahosts example.com
dig +short example.com A
dig +short example.com AAAA
# 未执行示例

双栈环境还要注意 A/AAAA 的选择差异。浏览器普遍实现了地址族快速回退,一个地址族不通会很快换另一个;curl 的新版本也有类似机制,但不同版本与参数下的表现不同。用 -4 与 -6 各跑一次,可以直接区分是不是地址族选择问题。若怀疑解析结果不一致,用 --resolve 固定 IP,把解析层从后续排查中排除:

curl -v --resolve example.com:443:203.0.113.10 https://example.com/
# 未执行示例:把域名强制解析到指定 IP,证书校验仍按域名进行

第 2 层:连接、代理与出口

第一个高频差异是代理。curl 读取 http_proxy、https_proxy、all_proxy、no_proxy 等环境变量;浏览器读的是桌面或系统的代理设置、PAC 脚本。于是常见两种反向现象:浏览器经公司代理访问成功,curl 直连超时;或者 curl 继承了某个失效的代理变量,而浏览器根本没走它。先查清环境里的代理变量,再用 --noproxy '*' 或显式 -x 做对照。

第二个高频差异是出口 IP。同一台机器上的浏览器与 curl 一般共用出口,但如果你在服务器上跑 curl、在办公网用浏览器,源地址就完全不同。入口侧按客户端 IP 或 CIDR 做放行与拦截时,结果自然不同。例如 NGINX Gateway Fabric 的 AccessPolicy 支持在 Gateway 或单条路由上按客户端 IP 与 CIDR 允许或阻断(来源:NGINX 博客该文摘要;本文仅读摘要,未核验全文)。这只是一个具体产品的例子,判断自己的环境时要看入口 ACL、安全组与 WAF 的源 IP 规则。

然后是端口与连通性。浏览器只告诉你”打不开”,curl 能告诉你在哪一步停住。用 nc -vz host 443 或带 -v 的 curl,区分”连不上”与”连上但握手失败”。

第 3 层:TLS 握手与信任

浏览器正常、curl 报 35 或 60,多数落在这一层,常见原因有四类。

  • 证书链不完整。服务器只发叶子证书、漏发中间证书时,浏览器会按证书里的 AIA 地址去补链,curl 与 openssl 通常不会,于是校验失败。用 openssl s_client -connect host:443 -servername host -showcerts 查看服务器实际发了哪些证书(未执行示例)。
  • 信任库不同。企业做 TLS 检查、或内网使用自签根证书时,浏览器信任系统或企业根,而 curl 使用的 CA 包可能是另一份。此时应显式用 --cacert 指向正确 CA,而不是长期关闭校验。
  • SNI 与主机名。curl 按 URL 里的主机名发送 SNI;如果用 IP 直连或 --resolve 指错了后端,可能命中另一张证书或默认虚拟主机。
  • 协议版本与密码套件。老服务只支持旧版 TLS 时,新版本 curl 依赖的 OpenSSL 默认可能已经禁用该版本。用 --tlsv1.2 --tls-max 1.2 之类参数做对照,能确认是不是协商失败。

curl -k 只适合用来判断”是不是证书校验导致的”,不能当作修复手段;确认原因后应改为正确配置 CA 或补齐证书链。

第 4 层:HTTP 协议版本与请求头

握手成功之后,差异转移到报文本身。协议版本是一个容易被忽略的变量:curl 较新版本对 https 默认会通过 ALPN 尝试 HTTP/2,老版本默认 HTTP/1.1;服务端、CDN 或 WAF 对不同协议版本可能有不同处理路径。作为参照,NGINX Ingress Controller 默认用 HTTP/1.1 与后端通信,也支持部分后端所需的 h2c(无 TLS 的 HTTP/2)与更老的 HTTP/1.0(来源:该文摘要;摘要级信息,且该场景是入口到上游,不等同于你的链路)。用 --http1.1 与 --http2 各跑一次即可对照。

请求头是第二个变量。curl 默认只发 Host、User-Agent(标识为 curl 自身版本)、Accept: */* 等少量头部,浏览器会带一整套。WAF 与机器人规则经常按 UA、Accept-Language、Referer 甚至头部顺序做判断,于是出现内容一样但 curl 被 403 的情况。做法是逐个加回,而不是一次抄全:

curl -v -H 'User-Agent: Mozilla/5.0 (示例)' -H 'Accept: text/html' https://example.com/
# 未执行示例:一次只加一个头,观察状态码在哪一步变化

重定向与 Cookie 也常被误判为失败。浏览器自动跟随 3xx 并保存 Cookie,curl 需要 -L 才会跟随,需要 -c 与 -b 才会保存与回传 Cookie。缺了登录态,curl 拿到的是状态码 200 的登录页——退出码为 0,但结果不是你要的内容。所以判断失败不能只看退出码,要看状态码与响应体:403、503 可能是 WAF 的挑战页,线索在保存下来的 body.txt 里。

第 5 层:应用语义

还有一类”失败”不属于网络层:页面内容由 JavaScript 渲染,curl 只拿到骨架 HTML;接口需要 CSRF token、一次性签名或时间戳;或者触发了频率限制。这些情况下 curl 的请求在网络上是成功的,只是不满足应用的语义要求。区分方法很直接——看响应体是否是完整的 HTML 骨架、是否包含 token 字段、是否返回限流提示。

把变量一个个固定下来

高效的做法是建立一条可复现命令,然后一次只改一个变量:先用 --resolve 固定 IP 排除解析,用 --noproxy '*' 排除代理,用 --http1.1 排除协议版本,再逐个加回请求头。每改一次都保存 -D 的响应头与 -o 的响应体,比较状态码变化发生在哪一步。下表把常见差异压缩成一张对照:

层 浏览器侧常见行为 curl 侧常见行为 验证方式
名字解析 可能启用 DoH、有独立缓存、快速回退地址族 走系统解析器,地址族选择依版本而异 dig、getent,--resolve
代理与出口 读系统代理设置或 PAC 读 http_proxy 等环境变量 查看代理环境变量,--noproxy
TLS 自动补链、信任企业根 用系统 CA 包,不补链 openssl s_client,--cacert
HTTP 自动跟随重定向,带完整头与 Cookie 需 -L、-c/-b,头部精简 --http1.1,-H 逐个加
应用 执行 JS、带会话与 token 只取原始响应 查看保存的响应体

若五层走完仍不通,剩下的差异通常在环境之外:不同网络位置的 ACL、客户端证书要求,或服务端对该 UA 与协议组合的单独策略。此时保留完整的 -v 输出与 --trace-time 时间戳,和服务端访问日志按时间对齐,比继续堆参数更有效。

常见问题

curl 返回 403 但浏览器正常,先查什么?

先看响应体和响应头而不是退出码:403 可能是 WAF 的挑战页或按请求头拦截的结果。按正文顺序,先排除代理与出口 IP 差异,再逐个加回 User-Agent、Accept 等请求头,观察状态码在哪一步变化。

为什么加上 -k 之后 curl 就通了?

说明问题在证书校验层,常见原因是服务器漏发中间证书导致链不完整,或 curl 使用的 CA 包不含企业根、自签根。正确做法是用 --cacert 指向正确的 CA 或补齐证书链,而不是长期关闭校验。

curl 需要伪装成浏览器才能访问,是网站的问题吗?

不一定。正文把这类情况归到请求头与协议版本层:curl 默认只发少量头部且 UA 为 curl 自身标识,服务端按 UA 或头部做策略时结果自然不同。判断时应看具体是哪一条规则触发,而不是笼统归因。

引用资料

资料链接仅表示正文使用了该素材,不代表所有结论已独立核验。

正文完
 0
沐小悠
版权声明:本站原创文章,由 沐小悠 于2026-11-17发表,共计3383字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)