http://loney945.lofter.com/post/1d37d87a_70743fb 

 

最好的解决办法：tune2fs -m 0 /dev/sd*5

 

 

现象：

        Df 统计出来的磁盘已使用空间为100%

        Du 统计根目录下所有文件的总大小很小，磁盘空间的20%都占不到

        

原因：

        有进程占用了硬盘上的文件，而这些文件可能已经用rm删除。实际上这些已删除的文件并未释放硬盘空间，只是看不到而已，占用它的进程还在不停地往文件里写，必须重启这些占用进程才能释放空间

 

解决：

1.       运行命令 lsof | grep deleted列出所有已被删除但还被进程占用的文件

2.       Kill 掉占用的进程

 

 

我们在Nagios中设置了Linux各分区可用空间超过90%就邮件报警。一次报警发生后，开发人员进行处理，发现依然在报。我们看下状况：

[root@CH36 home]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda5             1.3T  811G  394G  68% /

tmpfs                  24G   88K   24G   1% /dev/shm

/dev/sda1             2.0G   61M  1.8G   4% /boot

/dev/sda3             9.7G  8.8G  846M  92% /home

报警的是/home分区，可用空间只有846M了。我们再看下/home下哪个目录比较大：

[root@CH36 home]# du -sh *

751M    xxx

32K     ganglia

72K     hadoop

16K     lost+found

1.5G    abc

44K     mysql

60K     d

3.7M    server

32K     e

奇怪的事情发生了，这些目录大小合计才2G多，应该有7G左右可用才对，为什么df与du的输出矛盾呢？

考察一下du与df这两个命令。

1.du命令

du -sh命令通过将指定文件系统路径下所有的目录、符号链接、文件使用的块数累加起来得到总块数以及总大小。它会遍历这个目录，针对所有真实存在的文件、目录等汇总，给出最终结果。所以，通过du -sh给出的已使用空间情况，肯定是真实的！

2.df命令

df命令常被用来检查分区空间使用情况。它与du不同，它是查看文件系统磁盘块分配图得出总块数与剩余块数。

文件系统分配一些磁盘块用来记录它自身的一些数据，如i节点，磁盘分布图，间接块，超级块等。这些称为MetaData，对于用户级程序如du是不可见的。而df命令则查看磁盘分配图并考虑MetaData。

描述还是比较抽象，我们看下Linux下写一个文件的后台操作：

1. 首先，获取这个文件的文件句柄，这是会判断这个文件是否存在！
2. 然后，程序所有的写入操作仅仅使用文件句柄，而不再关注具体文件是否存在！Linux中允许对一个正在写入的文件进行删除RM或者移动MV，而Windows中是不允许这样的操作的。

可能会有这样的疑问了：

文件都删除了，应用程序还在写入，写到哪里去了呢？

其实应用程序获取句柄，就直接指向到了磁盘位置，到了数据块的级别上进行写入了，不再检查数据块所属的文件是否存在。这时候的写入，对于其他人，由于访问的入口–文件–不存在了，所以是看不到其写入的内容的！

解决方案

了解了du和df的基本原理，再看我们的这个问题，基本可以确认，du的结果是真实的使用情况，而开发人员的处理方式可能是直接删除RM了大文件。先验证一下这个猜测：

通过ps查到java应用程序的pid为12136，我们看看它所持有的文件句柄中有哪些异常：

[root@CH36 home]# ls -l /proc/12136/fd | grep -i deleted

l-wx—— 1 xxx xxx 64 Jan  8 10:40 1 -> /home/xxx/nohup.out (deleted)

l-wx—— 1 xxx xxx 64 Jan  8 10:40 2 -> /home/xxx/nohup.out (deleted)

l-wx—— 1 xxx xxx 64 Jan  8 10:40 97 -> /home/xxx/log.log.5 (deleted)

再查看这些文件，都不存在。事实上，即使存在同名文件，也可能是删除后新生成的，与句柄原始对应的不是同一个文件了。

与开发人员确认后，事实就是如此。重启Java应用后，df能够看到与du中查看到的已使用空间相一致！

正确的清空文件的方式是执行shell命令”> file.txt“。

其他：调整ext4的预留空间大小百分比

在开始检查问题时，还误入歧途，认为可能是ext4文件系统保留空间的问题。也记录于此吧。

ext3和ext4文件系统有一个特点，默认每个分区保留5%的空间，不允许非root用户使用。我们应该这部分空间的存在，或者什么时候可以救个急。

1.查看ext4分区的预留空间

shell> dumpe2fs /dev/sda5 | grep ‘Reserved block count’

dumpe2fs 1.41.12 (17-May-2010)

Reserved block count:     16893926

块大小为4k，则这个分区保留了64G，确实是总量1.3T的5%。

2.设置预留空间百分比

[root@CH36 home]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda5             1.3T  812G  394G  68% /

tmpfs                  24G   88K   24G   1% /dev/shm

/dev/sda1             2.0G   61M  1.8G   4% /boot

/dev/sda3             9.7G  2.7G  7.0G  28% /home

[root@CH36 home]# tune2fs -m 0 /dev/sda5

tune2fs 1.41.12 (17-May-2010)

Setting reserved blocks percentage to 0% (0 blocks)

[root@CH36 home]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/sda5             1.3T  812G  458G  64% /

tmpfs                  24G   88K   24G   1% /dev/shm

/dev/sda1             2.0G   61M  1.8G   4% /boot

/dev/sda3             9.7G  2.7G  7.0G  28% /home

可以看到，调整后，可用空间增加了64G！

参考：

 

linux tune2fs命令详解

一.简介：

tune2fs是调整和查看ext2/ext3文件系统的文件系统参数，Windows下面如果出现意外断电死机情况，下次开机一般都会出现系统自检。Linux系统下面也有文件系统自检，而且是可以通过tune2fs命令，自行定义自检周期及方式。

二.用法：

tune2fs [ -l ] [ -c max-mount-counts ] [ -e errors-behavior ] [ -f ] [ -i interval-between-checks ] [ -j ] [ -J journal-options ] [ -m

reserved-blocks-percentage ] [ -o [^]mount-options[,...] ] [ -r reserved-blocks-count ] [ -s sparse-super-flag ] [ -u user ] [ -g

group ] [ -C mount-count ] [ -L volume-name ] [ -M last-mounted-directory ] [ -O [^]feature[,...] ] [ -T time-last-checked ] [ -U

UUID ] device

常用选项说明：

-l 查看文件系统信息

-c max-mount-counts 设置强制自检的挂载次数，如果开启，每挂载一次mount conut就会加1，超过次数就会强制自检

-i interval-between-checks[d|m|w] 设置强制自检的时间间隔[d天m月w周]

-m reserved-blocks-percentage 保留块的百分比

-j 将ext2文件系统转换为ext3类型的文件系统

-L volume-label 类似e2label的功能，可以修改文件系统的标签

-r reserved-blocks-count 调整系统保留空间

-o [^]mount-option[,...] Set or clear the indicated default mount options in the filesystem. 设置或清除默认挂载的文件系统选项

三.例如：

tune2fs -c 30 /dev/hda1 设置强制检查前文件系统可以挂载的次数

tune2fs -c -l /dev/hda1 关闭强制检查挂载次数限制。

tune2fs -i 10 /dev/hda1 10天后检查

tune2fs -i 1d /dev/hda1 1天后检查

tune2fs -i 3w /dev/hda1 3周后检查

tune2fs -i 6m /dev/hda1 半年后检查

tune2fs -i 0 /dev/hda1 禁用时间检查

tune2fs -j /dev/hda1 添加日志功能，将ext2转换成ext3文件系统

tune2fs -r 40000 /dev/hda1 调整/dev/hda1分区的保留空间为40000个磁盘块

tune2fs -o acl,user_xattr /dev/hda1 设置/dev/hda1挂载选项，启用Posix Access Control Lists和用户指定的扩展属性

开机取消自检:

tune2fs -l /dev/sdb1 | grep -E ‘Maximum mount count:|Check interval’

tune2fs -i 0 -c 0 /dev/sdb1