当通过各种形式的文件传输(如: FTP、SFTP、NFS和Samba )传输大量(几个GBs)数据时。他们都受到同样问题的困扰,多个小文件有时会阻碍MBs或KBs的速度--甚至超过10 10Gbps的链接。
然而,如果我要在传输之前将整个文件夹拉链、tar或rar,那么网络链接就会完全饱和。
是什么导致了这种影响?如何通过网络提高多个小文件的大传输性能?在可用的文件传输协议中,哪一种最适合于此?我对网络进行了完全的管理,所以所有的配置和选项都是可用的,比如在网络接口上设置MTU和缓冲区大小,以及关闭文件服务器配置中的异步和加密,作为几种丢弃的想法。