sed コマンド 2015/05/13

sコマンド 2015/02/01

sコマンドは正規表現で置換処理をする。

$ sed -e 's/abc/ABC/g'

最後の g はすべてのマッチした文字列を置換することを意味する。g がなくても全行で置換を実行するが、1行に2つ以上マッチした場合は1つ目しか置換されない。

g がなくても全行の置換をするが、1行に複数マッチする場合でも各行の最初のマッチしか置換をしない。

区切り記号の / は他の記号でもよく、パスの置換などで置換対象に / が含まれている場合は、! など他の記号を使ったほうが便利。

上の例では abc が置換前の正規表現、ABC が置換後の文字列。

置換後の文字列に & を指定するとマッチした文字列の部分が出力され、, ... を指定するとマッチした文字列のうち正規表現内でカッコでグルーピングされた部分が出力される。

$ echo xx34 | sed -e 's/xx\(.\)/-& -/g'
## => -xx3 3-4

$echo xx34 | sed -E 's/xx(.)/-& -/g'
## => -xx3 3-4

-e と -E の違いは基本正規表現と拡張正規表現を参照。

-n オプションを追加してpフラグを付けると、マッチした行のみを出力する。

sコマンドの前に数字を置くと、その行のみがマッチングの対象になる。(アドレスという)

## 3行目のみを全置換の対象とする
## gを付けているのでその行に複数マッチすれば全部置換される
$ sed 3s/abc/ABC/g

## 3行目から5行目のみを全置換の対象とする
$ sed 3,5s/abc/ABC/g

## 3行目から5行目のみを全置換の対象とする
$ sed '3,$s/abc/ABC/g'

-> 各プログラミング言語での正規表現で置換

dコマンド 2015/05/13

dコマンドは行を削除する。

sed d とすると、すべての行が削除されてなにも出力しなくなってしまう。普通は後述のアドレスの機能を使って削除する行を指定して、残りを出力させる。

## 1行目から5行目を削除して6行目以降を出力
$ sed 1,5d

! を付けると、逆に対象行以外を削除するコマンドになる。

## 1行目から行目のみを出力
## ! はシェルが特別に解釈してしまうので、
## シングルクオーテーションを付けるか \ でエスケープが必要
$ sed '1,5!d'
$ sed 1,5\!d

pコマンド 2013/10/01

行を単に出力する。通常は -n オプションと組み合わせる。sedコマンドでは処理結果をデフォルトで出力するが、-n オプションを付けるとデフォルトの出力がされなくなり、pコマンドの出力のみになる。

大文字小文字を変換するには 2015/12/18

全部大文字にするには \U というのを使うとよい。U はたぶん Upper の略。

head main.go | sed -E 's/(.*)/\U/'
# または
head main.go | sed 's/\(.*\)/\U/'

小文字にするには \L というのを使うとよい。L はたぶん Lower の略。

head main.go | sed -E 's/(.*)/\L/'
# または
head main.go | sed 's/\(.*\)/\L/'

正規表現の中で {} を使うには 2015/12/19

正規表現で文字数を指定する {} は上で説明したとおり \ でエスケープするか、オプション -r を付けるかまたは -e の代わりに -E を使う必要がある。

# xxxx を XXXX に置換する例
sed 's/x{4}/XXXX/g'       # => NG
sed 's/x\{4\}/XXXX/g'     # => OK
sed "s/x{4}/XXXX/g"       # => NG
sed "s/x\{4\}/XXXX/g"     # => OK
sed "s/x\\{4\\}/XXXX/g" # => NG

正規表現の中の () で囲まれた部分を使って置換するには 2015/02/01

置換後の文字列には、, などを指定することで、正規表現にマッチしたグループに置き換えられる。

echo "bc abcc" | sed 's/b\(c*\)//g'
# => c acc

echo "bc abcc" | sed -e 's/b\(c*\)//g'
# => c acc

echo "bc abcc" | sed -E 's/b(c*)//g'
# => c acc

正規表現の中の () には \ でエスケープしないといけない。-e の代わりに -E をつけると、上で説明したとおり拡張正規表現になってエスケープが不要になる。

-> 正規表現のグルーピングにマッチした文字列を使うには

タブ文字を全置換するには 2013/06/17

## タブ文字をスペースに全置換
$ sed '/\t/ /g'

正規表現にマッチする行を削除するには 2013/06/17

# '2013' が含まれる行を削除
sed '/^2013/d'

# 空行を削除
sed '/^$/d'

正規表現にマッチする行を抽出するには 2013/09/25

# '2013' が含まれる行のみを出力
sed '/^2013/!d'
# または
sed -n '/^2013/p'

# 空行の数をカウント
sed -n '/^$/p' | wc -l

連続するスペースまたはタブ文字を1つのスペースに全置換するには 2014/08/21

# タブ文字をスペースに全置換
sed -E 's/[\t ]+/ /g'

連続する空行を1行にまとめるには 2016/02/05

sedでなくてcatコマンドの -s オプションで簡単にできる。

$ cat -s input.txt

標準入力ではなくファイルの中のテキストを全置換してファイルを置き換えるには 2014/10/15

GNU sedであれば、-i オプションを付ければ、ファイルを直接書き換えることができる。

sed -i -e 's/置換前/置換後/g' ファイル名

-i がないと、全置換後の結果を標準出力に吐き出して、ファイルは書き換えない。

ちなみに以下のようにしてもうまくいかない。

cat foo.txt | sed -i -e 's/.../.../g' > foo.txt

ファイルからの入力と結果の書き出しは並列で実行されるため、標準入力から読み込もうにも結果を書き出すために先にファイルサイズが0になってしまい、結果として foo.txt はからのファイルになる。

BSDやMacに入っているsedはGNU sedではなく、-i オプションがないらしい。

ディレクトリの中を再帰的に全置換するには 2016/09/12

-> ディレクトリの中を再帰的に全置換するには

2つ以上の全置換を一括で実行するには 2013/06/17

-e で2つ以上の全置換を実行できる。

cat ファイル名 | sed -e 's/置換前/置換後/g' -e 's/別の置換前/別の置換後/g'

行番号で範囲を指定して抽出するには 2016/03/04

プログラミング言語でいう部分配列とかスライスみたいな。

## 2行目から4行目までを抽出(4行目を含む)
$ sed -n 2,4p foo.txt

## 2行目のみを抽出
$ sed -n 2p foo.txt

## 2行目から最後までを抽出
$ sed -n '2,$p' foo.txt
## または
$ sed -n 2,\$p foo.txt

## 先頭から4行目までを抽出
$ sed -n 1,4p foo.txt
## または
$ sed 4q foo.txt

q はその行で終了という意味。

行番号で範囲を指定して削除するには 2013/06/14

# 2行目から4行目を削除(4行目も削除)
cat ファイル名 | sed -e 2,4d

# 2行目のみを削除
cat ファイル名 | sed -e 2d

# 2行目から最後まで削除
cat ファイル名 | sed -e '2,$d'
# または
cat ファイル名 | sed -e 2,\$d
# または head でも同じことができる
cat ファイル名 | head -n 1

# 最後の行のみを削除
cat ファイル名 | sed -e \$d

N行おきに抽出するには 2014/09/29

## 1行目、11行目、21行目、、、と10行おきに抽出
$ cat ファイル名 | sed -ne '1~10p'

## 10行目、20行目、、、と10行おきに抽出
$ cat ファイル名 | sed -ne '0~10p'

perlのワンライナーで以下のようにも書けるが、単純にN行おきに抽出するだけのシンプルな処理であればsedのほうが速い。

$ cat ファイル名 | perl -nle '$.%10==0&&print'

パスなどを全置換する際にスラッシュをエスケープするのが面倒な場合 2013/06/18

s/.../..../g の記法のスラッシュは記号なら比較的なんでもよくて、3つ同じ記号を使っていることに意味があるので、s@...@...@g のようにも書ける。

例

cat ファイル名 | sed -e 's@/etc/foo/bar@/home/my/etc/foo/bar@g'

ログファイルなどの tail -f の出力をsedで処理しながら表示するには 2013/07/09

tail -f access_log | sed --unbuffered ...
# または
tail -f access_log | sed -u ...

--unbuffered または -u を付けないとsedがバッファリングをしてしまって、リアルタイムに表示されなくなってしまう。

空行を削除するには 2014/03/17

^$ という正規表現と、dでの削除コマンドを使う。

cat ファイル名 | sed '/^$/d'

空白文字だけの行も空行とみなして削除するには、

cat ファイル名 | sed '/^[[:blank:]]*$/d'

または

cat ファイル名 | sed '/^\s*$/d'

(違いは調べていない、、、)

TSVファイルなどでヘッダ行があるファイルから正規表現で行を抽出するには 2015/04/10

1行目がヘッダ行などでこれは正規表現に関係なく残しておいて、残りの行は正規表現にマッチしたもののみにしたい場合、
1行目を抽出するコマンド 1p と正規表現で抽出するコマンドを組み合わせる。

cat ファイル名 | sed -n -e 1p -e /パターン/p

指定の行番号に行を挿入するには 2015/08/01

sed 3i test のように書くと、3行目に test という行を挿入する、という意味になる。

また、sed 3a test と書くと、3行目の次に test という行を挿入する、という意味になる。

$ seq 5
1
2
3
4
5

$ seq 5 | sed '3i test'
1
2
test
3
4
5

$ seq 5 | sed '3a test test'
1
2
3
test test
4
5