MENU

大容量ファイルを一定サイズに分割して転送・保管しやすくする手順

数GBを超えるバックアップファイルやログアーカイブを別のサーバーへ転送したい、あるいはUSBメモリやクラウドストレージの容量制限に合わせて保管したいとき、ファイルをひとつのまま扱うと転送途中のエラーや管理の煩雑さが生じることがあります。Linuxには split コマンドが標準で用意されており、任意のサイズに分割してから転送・保管し、後で結合する一連の作業を手軽に行えます。

目次

ファイル分割が役立つ場面

次のような状況でファイル分割が有効です。

  • FAT32フォーマットのUSBメモリへのコピー(1ファイルあたり最大4GBの書き込み制限がある)
  • メールやファイル転送サービスの添付サイズ上限を超えるアーカイブを送付したい
  • SCPやrsyncで大きなファイルを転送中に回線断が起きやすい環境で、再送コストを下げたい
  • クラウドストレージのアップロード上限に合わせてファイルを分けて保管したい

split コマンドでファイルを分割する

split コマンドは多くのLinuxディストリビューションにcoreutilsパッケージとして標準で含まれています。基本的な書式は次のとおりです。

split [オプション] 入力ファイル 出力プレフィックス

サイズを指定して分割するには -b オプションを使います。単位は K(キロバイト)・M(メガバイト)・G(ギガバイト)で指定できます。

# 500MBずつに分割する(出力ファイル名は backup_part_ で始まる)
split -b 500M backup.tar.gz backup_part_

実行すると backup_part_aa、backup_part_ab、backup_part_ac … のようにアルファベット2文字のサフィックスが付いたファイルが生成されます。サフィックスを数字にしたい場合は -d オプションを追加します。

# 数字サフィックス(backup_part_00、backup_part_01 …)
split -b 500M -d backup.tar.gz backup_part_

桁数が足りず順序が崩れる場合は --suffix-length で桁数を明示できます。ファイル数が100を超えるおそれがあるときは3桁以上にしておくと安心です。

# サフィックスを3桁の数字にする(000, 001, 002 …)
split -b 500M -d --suffix-length=3 backup.tar.gz backup_part_

分割後のファイル一覧とサイズは次のコマンドで確認できます。

ls -lh backup_part_*

分割ファイルを元のファイルに結合する

分割したファイルを転送先で結合するには cat コマンドを使います。ファイルがアルファベット順・数字順に並ぶようワイルドカードで渡すだけです。

cat backup_part_* > backup_restored.tar.gz

順序を明示したい場合はファイル名を直接列挙することもできます。

cat backup_part_000 backup_part_001 backup_part_002 > backup_restored.tar.gz

結合の進捗を確認しながら実行したい場合は pv コマンドと組み合わせる方法もあります(pv は別途インストールが必要です)。

cat backup_part_* | pv > backup_restored.tar.gz

整合性を確認する

結合後にファイルが壊れていないかどうかは、分割前のファイルとチェックサムを照合することで確認できます。SHA256を使う場合の手順は次のとおりです。

まず分割前にチェックサムを生成してファイルに保存します。

sha256sum backup.tar.gz > backup.tar.gz.sha256

このチェックサムファイルを分割ファイルといっしょに転送先へ送り、結合後に次のコマンドで照合します。

sha256sum -c backup.tar.gz.sha256

backup.tar.gz: OK と表示されれば、結合後のファイルが元のファイルと一致しています。

チェックサムを取得するタイミングがなかった場合は、分割ファイルの合計サイズを元のサイズと比較する方法でも一次確認が可能です。

# 元のファイルサイズを確認
du -b backup.tar.gz

# 分割ファイルの合計サイズを確認
du -bc backup_part_* | tail -1

よくあるつまずきと対処

結合後にアーカイブが展開できない

一般的には、cat での結合時にファイルの順序が意図しない並びになっていると、アーカイブが破損したように見える症状が起きることがあります。ls -1 backup_part_* でファイルが正しいアルファベット順・数字順に並んでいるかを確認してから結合してください。サフィックスに数字を使っていて桁数が不揃い(_9 の次に _10 が来る)の場合はソート順が崩れるため、--suffix-length で桁数をそろえることが重要です。

FAT32への書き込みでエラーになる

FAT32ファイルシステムは1ファイルあたり4GBを超えるファイルを書き込めません。分割サイズを -b 3900M など4GB未満に設定することで回避できます。exFATやNTFSにフォーマットできる場合はその制限がなくなります。

出力先のディスク容量が足りない

分割処理中に出力先の空き容量が尽きると途中で止まり、最後のファイルが不完全な状態になります。処理前に df -h で出力先の空き容量が元のファイルサイズ以上あることを確認してください。入力ファイルと出力先が同じファイルシステムにある場合は、元のファイル分の容量も残っていることが前提となります。

# 出力先の空き容量を確認
df -h /path/to/output/directory

「コマンドは打てる。次は”現場で通用する型”を最短で身につけたい」——そんなあなたへ。

ネットの断片的なTipsをコピペするだけでは、体系的な運用スキルはなかなか積み上がりません。リナックスマスター.JPの無料メルマガ「リナマガ」では、現場で実際に使うLinuxサーバー運用の考え方を、順を追って実務目線でお届けしています。いま登録された方には、安全なサーバー構築の「型」をまとめた『Linuxサーバー構築入門マニュアル(図解60P)』を完全無料でプレゼント中です。

>> 図解60P『Linux入門マニュアル』を無料で受け取る
(メルマガ登録は10秒・いつでも解除OK)

※ 「独学の時間がもったいない」「プロから現場の技術を最短で学びたい」という本気の方には、2日で実務レベルが身につく初心者向けハンズオンセミナーもご用意しています。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

目次