巨大なテキストファイルの末尾付近を切り出してダウンロードする

💡 要旨: 解析したいログがでかかったときのTips

クラウドなどのサーバーなどにバカでかいログファイルなどがあって、その場で読むだけでは済まなくてダウンロードしたいけど、あまりに大きすぎてそのままやると数時間～数日かかりそう。

がファーストチョイスだが、zip化するのも困難なレベルで時間がかかる場合、sedとかでスキャンするのを考えるのもちょっと面倒/時間がかかりそうな場合。

linuxでその際のコマンドには spritが使えた。

bash

split -n 1000/1000 分割したいファイル.txt > out.txt

split -n 1000/1000 分割したいファイル.txt > out.txt

「-n 欲しい部位/分割数」のオプションはファイルを書き出さずに標準出力にだけ出すので、それをリダイレクトして書き出せば計算時間も最小だしサーバーのHDDにゴミファイルも作らなくて済む。