LinuxでTBレベルの大容量/大量ファイルを rm -rf より高速に削除する

結論

  • 単一のファイル → truncate で先に「0」で埋める
  • 多数のファイル → rsync で空のディレクトリに「同期」する

パターンA 単一の大容量ファイル

ファイルサイズが極端に大きい場合、ストレージのブロック解放処理でファイルシステムが一時的にハングすることがある。
ファイルサイズを1回「0」に切り詰めてから削除する。

truncate -s 0 削除したいファイル名.ext

rm 削除したいファイル名.ext

パターンB ファイルがいっぱいある時

rm -rf ではなく、[ rsync ] を活用する。

mkdir /path/to/empty_dir
rsync --delete-before -a -H -v --progress '/path/to/empty_dir/' '/path/to/target_dir/'

の後、

rmdir '/path/to/empty_dir/'
rmdir '/path/to/target_dir'

で empty_dir を削除するだけ。empty_dir はどこでもOK。できれば空いているまともなストレージを指定する。

  • empty_dir 指定時に末尾 「/」 を忘れないこと
  • 必要ならパスはシングルクォーテーションで囲む(ダブルクォーテーションだとエスケープされない文字がある)

……以上です。パターンBはそれでも数十分かかることがありますが、rm -rf や Windows のSMB&エクスプローラーから操作するよりはずっとマシなはずです。NASの場合はSSHで接続しましょう。

P.S.
これを応用すると、 Windows の場合は rsync の代わりに robocopy で代用できると思います:

robocopy C:\empty_dir "D:\path\to\dir" /mir /mt:32

※mt は最大128スレッドで、NVMe SSDなら64~128、SMB NAS(HDD)なら32~64、内蔵HDDは付けないか8くらいが妥当なラインでしょう。(NASはHDDであっても並列処理の効果(ネットワーク起因のボトルネック解消)がありますが、内蔵HDDは逆に多すぎるとフリーズします)

robocopy /mir は普段の同期でも早いのでぜひ使ってみてください。

– – – – – –


コメントを残す