共计 3164 个字符,预计需要花费 8 分钟才能阅读完成。
磁盘显示还有几十 GB 可用,但应用写日志、上传文件或执行 cp 时仍然报 No space left on device,这种情况不必先怀疑磁盘坏道。Linux 上文件落盘需要两样东西:存放内容的数据块,和记录元数据的 inode。两者是独立计数,任何一套用完,写入都可能失败并返回 ENOSPC。所以第一步不是清空磁盘,而是把这两个数分开看。
下面的顺序适用于本地 ext4、XFS 等常见文件系统上的普通目录写入。容器、网络文件系统和启用了项目配额的场景,结论可能落在挂载参数或配额上,需要在对应环节额外核对。
用 df -h 和 df -i 对照同一个挂载点
df -h 统计数据块使用量,df -i 统计 inode 使用情况。两条命令必须指向同一个路径或挂载点,否则比较没有意义。先确认报错目录落在哪个文件系统上,再分别执行。
df -h /var/www
df -i /var/www
两条命令都在目标主机上执行,通常不需要 root;如果普通用户对路径缺少执行权限,改用挂载点或提权后再查。-h 输出人类可读的容量,-i 在输出中增加 Inodes、IUsed、IFree、IUse% 四列。需要关注的字段是 df -h 的 Avail 和 Use%,以及 df -i 的 IUse%。判断方式是横向对照,而不是只看其中一条。
下面是示例输出,数值仅用于说明字段关系,不是本机实测结果:
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 40G 12G 26G 32% /
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/vda1 2621440 2621440 0 100% /
这组示意数据的含义是:数据块只用了三成左右,inode 却已经用满,此时应把 inode 耗尽列为首要怀疑对象。反过来,如果 Use% 接近 100% 而 IUse% 正常,问题仍然在数据块。如果两列都不紧张,先不要往下清理,转去检查目录权限、挂载是否变成只读、是否有磁盘配额限制,以及 dmesg 里有没有文件系统错误。
df -h 结果 |
df -i 结果 |
优先怀疑 |
|---|---|---|
| 可用空间充足 | IUse% 接近 100% |
inode 耗尽 |
| 可用空间接近 0 | IUse% 正常 |
数据块耗尽 |
| 可用空间充足 | IUse% 正常 |
权限、只读挂载、配额、文件系统错误 |
| 可用空间接近 0 | IUse% 接近 100% |
数据块和 inode 都需要清理 |
为什么数据块够用、inode 会先满
每个文件、目录和符号链接通常都占一个 inode,与文件大小无关:一个几字节的锁文件和一个几 GB 的镜像同样消耗一个 inode。ext4 在创建文件系统时按比例确定 inode 总数,常见默认约为每 16 KB 空间分配一个 inode,但具体数值取决于 mkfs 参数,应以本机 df -i 或 dumpe2fs -h 的输出为准;容量不变时,这个总数不能单独增加。扩容 ext4 文件系统时,新增块组可能带来更多 inode,但这不是按需追加,仍受文件系统大小和 mkfs 参数影响。
因此真正容易吃满 inode 的,往往是体积不大但数量极多的东西:会话文件、缓存碎片、邮件队列、没有轮转的小日志、依赖目录里的散碎文件。XFS 的 inode 是动态分配的,但仍受上限约束,同样不能只凭文件系统类型下结论,要看 df -i 的实际数字。
按顺序定位 inode 消耗在哪里
第一步:确认报错确实是写入失败
在报错目录所在的位置做一次最小写入尝试,确认当前状态下是否真的写不进去。这一步既是复现,也是为了拿到准确的报错文本。
touch /var/www/.write-probe && ls -l /var/www/.write-probe
命令在目标主机上执行,需要对 /var/www 有写权限;实际操作时把路径换成自己的业务目录。能创建并列出文件,说明该目录此刻可写,问题可能是间歇性的,例如高峰时段 inode 被临时占满,或者失败发生在另一个挂载点、另一个运行用户下。失败时记录完整报错,确认是不是 No space left on device;如果报的是 Permission denied 或 Read-only file system,那就不属于本文讨论的范围。测试完成后用 rm -f /var/www/.write-probe 删除探针文件。
第二步:按目录统计 inode 数
确认 inode 紧张之后,需要找到消耗集中在哪个目录。较新版本的 GNU coreutils 提供 du --inodes,统计的是 inode 数量而不是字节数。
du --inodes -x -d1 /var/www 2>/dev/null | sort -n | tail -20
在目标主机上执行,读取权限不足的目录会被 2>/dev/null 丢弃。-x 表示不跨文件系统,-d1 表示只汇总一层子目录,sort -n 让 inode 数最多的目录排在最后。输出会包含 /var/www 自身的合计行,定位时看它下面的子目录行。先用 du --help | grep inodes 确认本机版本支持该选项;不支持时改用 find 计数:
find /var/www -xdev -mindepth 1 -printf '%h\n' 2>/dev/null | sort | uniq -c | sort -n | tail -20
这条命令按父目录统计目录项,包含普通文件、目录和符号链接,更接近 inode 消耗;如果只想看普通文件,加 -type f。-printf 是 GNU find 的扩展,BusyBox 或 BSD 版本的 find 不支持,需要换用其他方式统计。du --inodes 默认对硬链接去重,find 按目录项计数,硬链接多时两者结果会有差异。观察输出末尾几行的数量级:如果某个缓存或会话目录的 inode 数远超其余目录,清理目标就很明确了。
第三步:排除已删除但仍被进程打开的文件
还有一种现象容易和 inode 耗尽混淆:文件被删掉了,目录项已经消失,但仍有进程持有句柄,数据块没有释放。du 看不到这些文件,df 却能看到空间没有下降。这类文件在最后一个句柄关闭前仍占数据块和该文件的 inode;不过通常只是少量大文件,主要解释数据块未释放,不是 inode 耗尽的典型原因,处理方式也与清理大量小文件不同。
lsof +L1 2>/dev/null | head -20
需要 root 或对应文件属主的权限;lsof 未安装时先通过发行版包管理器安装。+L1 筛选链接数小于 1 的已打开文件。如果输出里出现体积很大的已删除日志或数据文件,处理方式是让对应进程重启或重新打开文件,而不是继续删文件;重启前先确认业务可以中断。
清理与调整时的边界
- 删除之前先确认目录用途。用第二步的计数结果锁定目标后,再对具体子目录操作;直接对业务根目录执行递归删除,风险不可控。对要删除的内容应先备份,或至少确认可以从其他副本重建。
- 清理正在被写入的目录(例如活跃会话、邮件队列)可能让应用报错,先停服务或调整配置再动手。
- 把大量小文件打包归档能减少 inode 占用,但归档文件本身会占用数据块,需要同时确认
df -h仍有余量;保留原文件不会减少 inode。 - ext4 在不扩容的前提下改变 inode 比例,通常需要备份、重建文件系统、恢复数据;扩容文件系统可能增加 inode 总数,但仍需评估。XFS 的 inode 动态分配,不能通过缩容调整,扩容也受文件系统上限约束。这类操作不适合当作随手可做的修复。
- 监控上应把
df -i的IUse%与df -h的Use%分开设置告警,只监控容量会漏掉 inode 耗尽这一类故障。
inode 的默认分配比例因文件系统和 mkfs 参数而异,实际判断请以目标主机 df -i 的输出为准;ext4 可用 dumpe2fs -h 查看 Inode count 和 Free inodes,XFS 可用 xfs_info 查看 inode 大小等几何参数,但 inode 使用量仍看 df -i。本次提供的参考资料未涉及 inode、df -i 或文件系统写入失败,正文没有引用这些资料;文中命令均为未执行示例,具体行为需在目标系统核实。
常见问题
df -h 看着还有空间,为什么 df -i 会先满?
每个文件、目录和符号链接通常各占一个 inode,与文件大小无关,大量小文件会比少量大文件更快耗尽 inode。ext4 在创建文件系统时按比例确定 inode 总数,常见默认约为每 16 KB 空间一个,具体看 mkfs 参数;容量不变时不能单独追加,扩容文件系统可能随新增块组增加 inode,但不是按需无限增加。XFS 动态分配 inode,同样受上限约束。
删掉一批小文件后 df -i 没有立刻下降怎么办?
先确认 df -i 查的是报错目录所在的同一挂载点;容器或 overlay 场景要在宿主机对应文件系统上核对。若文件仍被进程打开,目录项虽然消失,inode 和数据块要等最后一个句柄关闭才释放,df -i 可能暂时不降。可用 lsof +L1 查找这类文件,再决定是否重启或让进程重新打开文件。
inode 用完了能直接扩容吗?
要看文件系统。ext4 在不扩容的前提下改变 inode 比例,通常需要备份、重建文件系统、恢复数据;扩容文件系统可能增加 inode 总数,但仍需评估。XFS 的 inode 动态分配,不能通过缩容调整,扩容也受文件系统上限约束。两者都属于需要维护窗口的变更,不适合当作随手清理。