服务展示

服务展示
<<返回上一页

记一次内存变更引起的NFS故障

发布时间:2024-11-15 04:57:46点击:

最近由于一些原因,做服务器资源调整,其中一台服务器是做NFS服务,通过NFS挂载到其他几台服务器做共享,服务器内存从8G调整到了4G,其他不变

降配完成后,重启服务器,看着一切正常,就没管了

第二天DBA和我说数据备份没写入,登录服务器查看,df -H命令卡住,凭经验,NFS挂了

登录NFS服务器,查看NFS服务正常,查看message日志,发现大量关于RPC的日志

日志报错,分片太大

为什么之前是好的,降内存后,就出现分片太大,无法处理的情况?

通过查找NFS源码,发现如下一段:

*supportamegabyte

原来,NFS服务器在决定默认的最大读写块大小时会考虑内存的占用情况,每个NFS内核线程最多只使用1/4096的物理内存大小,对于UDP来说,由于一个UDP包最大才64KB,因此使用UDP协议的NFS读写块大小最大不超过48KB,而kernel中则直接限制为32KB了,而使用TCP协议的NFS由于没有这个限制,允许更大的读写块大小,单Linuxkernel还是将其限制为1MB了,对于物理内存超过4GB的机器才使用最大的1MB读写块大小,而记录这个大小的文件为/proc/fs/nfsd/max_block_size

查看服务端该值大小为512KB

因为读写对应的是rsize和wsize,是客户端和服务端协商决定的,所以通过命令

查看此时客户端的rsize和wsize

客户端rsize和wsize都是1048567,正好是1M

而上面我们看到服务端是512K,所以两边目前是不协商的

猜测原因如下:NFS服务器内存降配前,原先8G内存,大于4G,所以max_block_size应该是最大值1M,也就是1048567,和客户端协商后,两边都定位默认的1048567

当NFS服务器降配到4G后,由于内存保护及计算,NFS服务端max_block_size降为512KB,也就是524288,此时服务端和客户端不匹配

而客户端没有重新连接服务端,导致未协商,所以客户端分片的数据包,远大于服务端能处理的数据包,也就出现了message中的报错,RPC数据分片太大

知道问题原因,就开始解决,解决方法分两种

我这里选择了第二种方案,直接修改服务端max_block_size,因为是/proc数据,nfs在启动占用,所以需要停掉nfs修改

修改完成后,重新启动NFS

查看message,日志正常,查看客户端,df -H可以正常看到挂载目录,进入挂载目录正常

这里我为什么不用第一种方案?

因为此时NFS服务端是挂掉的,客户端无法卸载,卸载会提示占用无法卸载,能卸载的方式是两边都重启,重新后重新进行协商,我不愿意重启客户端服务器,所以选择第二种方式

完成后查看nfs传输

可以看到,传输正常,另外可以看到NFS此时是TCP协议的,也就验证了TCP协议传输时,Linux内核最大限制1M块大小了

免责声明:凡未注明来自本站的稿件和图片作品,系转载自其它网站,及网友投稿,转载目的在于信息传递,并不代表本站赞同其观点和对其真实性负责,如若涉及侵权违规可向站长举报 。