ps コマンドや df コマンドの出力を見たとき、「この列だけ取り出して件数を数えたい」「特定のフィールドを抜き出してソートしたい」と感じることがあります。Linux にはテキスト加工のコマンドが豊富に揃っており、パイプでつなぐだけでスクリプトを書かずに集計まで完結できます。ここでは列の切り出しから集計・加工までの一連の流れを説明します。
列の切り出しに使う主なコマンド
コマンドの出力からフィールドを取り出すには、主に次の2つのコマンドを使います。
- cut:区切り文字(デリミタ)が固定されていて、単純に N 列目を取り出したいときに向いています。
- awk:スペースが複数連続している、条件に合う行だけ取り出したいといった複雑な要件に向いています。
どちらを使うかは出力の形式で選びます。コロン区切りや CSV など区切り文字が一定の場合は cut が手軽です。コマンドが吐き出す複数スペース区切りの表形式(ps や ls -l など)には awk が適しています。
cut で区切り文字を指定して列を取り出す
cut コマンドは -d(デリミタ)と -f(フィールド番号)の2つのオプションを組み合わせて使います。
/etc/passwd のコロン区切りから1列目(ユーザー名)と3列目(UID)だけを取り出す場合は次のようにします。
cut -d: -f1,3 /etc/passwd
カンマ区切りのログから2列目のみ取り出したいときは次のようにします。
cut -d, -f2 access.log
範囲指定もできます。3列目から5列目を一括で取り出す場合は -f3-5 と書きます。
cut -d: -f1-3 /etc/passwd
cut は区切り文字が「ちょうど1文字」であることを前提にしています。複数スペースが連続する出力には次の awk を使います。
awk で複数スペース区切りの列を取り出す
awk はデフォルトで「空白(スペース・タブ)の連続」を区切り文字として扱います。$1、$2…と書くだけで各フィールドを参照できます。
ps コマンドの出力から CPU 使用率(3列目)とプロセス名(11列目)を取り出す例です。
ps aux | awk '{print $3, $11}'
df コマンドの出力からマウントポイント(6列目)と使用率(5列目)を取り出す場合は次のようにします。
df -h | awk 'NR>1 {print $5, $6}'
NR>1 はヘッダー行(1行目)をスキップする指定です。
区切り文字を明示したい場合は -F オプションで指定できます。コロン区切りのファイルに awk を使うときは次のようにします。
awk -F: '{print $1, $3}' /etc/passwd
切り出した列をパイプで集計する
列を切り出したあとは、sort・uniq・wc などと組み合わせて集計できます。
重複を数えて多い順に並べる(頻度集計)
cut や awk で取り出した列を sort してから uniq -c に渡すと、各値の出現回数が得られます。さらに sort -rn で多い順に並べます。
cut -d: -f7 /etc/passwd | sort | uniq -c | sort -rn
この例では /etc/passwd のログインシェル(7列目)の出現回数を多い順に確認できます。
ユニークな値の件数を数える
cut -d: -f7 /etc/passwd | sort -u | wc -l
sort -u で重複を除去してから wc -l で行数を数えると、一意な値の種類数が得られます。
数値列の合計を求める
awk には列の合計を求める書き方があります。次の例は /proc/net/dev の受信バイト数(2列目)を全インターフェース分合計する想定例です。
awk 'NR>2 {sum += $2} END {print sum}' /proc/net/dev
awk の END ブロックは全行の処理が終わったあとに実行されます。ループを書かずに集計できます。
手順の確かめ方
うまく切り出せているかどうかは、まず head でサンプルを確認する方法が手軽です。
cut -d: -f1,3 /etc/passwd | head -5
出力の列数が行ごとにそろっているかどうかは、awk の NF(フィールド数)を表示して確認できます。
コマンド | awk '{print NF}' | sort -u
すべての行で同じ値が返れば、列がそろった出力であることが確認できます。
集計結果の合計件数が元の行数と整合しているかは次の手順で確認できます。
# 元の行数
コマンド | wc -l
# uniq -c の出現回数を合計して元の行数と一致するか照合
コマンド | cut -d: -f7 | sort | uniq -c | awk '{sum += $1} END {print sum}'
よくあるつまずきと対処
cut で列がうまく取れない(複数スペース問題)
ps や ls -l のように出力がスペース複数個で区切られている場合、cut -d' ' を使っても空フィールドが挟まり、意図した列が取れないことがあります。このような場合は awk を使うと複数スペースを一つの区切りとして扱えます。どうしても cut を使いたい場合は、tr で区切り文字を変換してから渡す方法があります。
コマンド | tr -s ' ' ':' | cut -d: -f3
tr -s ' ' ':' は連続するスペースを1個のコロンに置き換えます。ただし先頭にスペースがあると空フィールドが残るため、sed 's/^ *//' で先頭の空白を除去してから tr に渡すとより確実です。
uniq の前に sort を忘れる
uniq は隣接する行の重複しか検出しません。sort を通さずに uniq を使うと、離れた場所にある同じ値が別のものとして数えられます。頻度集計のときは必ず sort → uniq -c の順につなぎます。
awk の列番号が1つずれる
コマンドの出力によっては先頭に空白が入り、$1 が空になることがあります。awk '{$1=$1; print $2}' のように $1=$1 を先に評価すると前後の空白が詰められ、ずれを解消できます。
awk で出力の区切りをそろえる
複数フィールドを print $1, $2 で出力するとスペース区切りになります。タブ区切りにしたい場合は print $1 "\t" $2、特定の文字で区切りたい場合は同様に文字列を明示します。後続の cut と組み合わせる際は区切り文字をそろえておくと処理がシンプルになります。
「コマンドは打てる。次は”現場で通用する型”を最短で身につけたい」——そんなあなたへ。
ネットの断片的なTipsをコピペするだけでは、体系的な運用スキルはなかなか積み上がりません。リナックスマスター.JPの無料メルマガ「リナマガ」では、現場で実際に使うLinuxサーバー運用の考え方を、順を追って実務目線でお届けしています。いま登録された方には、安全なサーバー構築の「型」をまとめた『Linuxサーバー構築入門マニュアル(図解60P)』を完全無料でプレゼント中です。
>> 図解60P『Linux入門マニュアル』を無料で受け取る
(メルマガ登録は10秒・いつでも解除OK)
※ 「独学の時間がもったいない」「プロから現場の技術を最短で学びたい」という本気の方には、2日で実務レベルが身につく初心者向けハンズオンセミナーもご用意しています。
