【命令行程序】awk 最强大、最实用的文本处理工具

awk 介绍

awk 不像 grep 只能查找文本，也不像 sed 只能编辑整行，而是能先把一行文本按空格（或你指定的符号）切成好几块（字段），然后对这些“小块”进行筛选、计算、统计、格式化等操作。

工作原理:

• 逐行读取：从文件或管道输入中，一次读取一行文本;
• 切割字段：根据分隔符（默认是空格或制表符），把这行文本切成多个部分，分别称为 $1（第一列）、$2（第二列）…… $0 则代表整行内容;
• 判断条件：检查这一行是否符合你设定的条件（比如包含某个词，或者行号是第 5 行）;
• 执行动作：如果符合条件，就执行相应的操作（比如打印某一列，或者进行累加计算）;
• 循环往复：重复以上步骤，直到处理完所有行。

更厉害的是，awk 的程序结构由三个清晰的模块组成，执行顺序非常明确：

• BEGIN 块：在开始读取任何数据之前执行一次。通常用来初始化变量、打印表头;
• 主体块：对每一行数据都执行一次。这是最核心的部分，用于处理、筛选、计算;
• END 块：在处理完所有数据之后执行一次。通常用来输出最终的统计结果、汇总信息。

格式: awk 'pattern {action}' 文件名

• pattern（模式）：可选的条件，用来筛选行。如果省略，则对每一行都执行动作;
• action（动作）：对符合条件的行要执行的操作，必须用花括号 {} 括起来;
• 文件名：要处理的文件。

需要记忆的内置变量:

• $0 整行内容;
• $1, $2, … $n 第 1、2…n 个字段;
• NF 当前这一行总共有多少列。$NF 就代表最后一列，非常有用;
• NR 当前正在处理的是第几行（从1开始计数）;
• FS 输入字段分隔符，默认为空格/制表符，可以用 -F 选项修改，比如 -F: 表示用冒号分隔;
• OFS 输出字段分隔符，打印时，字段之间用什么隔开，默认是空格。

$ ls -l | awk '{print $9, $5}'

$ awk -F: '{print $1, $NF}' /etc/passwd

$ df -h
Filesystem        Size    Used   Avail Capacity iused ifree %iused  Mounted on
/dev/disk3s1s1   460Gi    11Gi    92Gi    12%    453k  961M    0%   /
devfs            208Ki   208Ki     0Bi   100%     720     0  100%   /dev
/dev/disk3s6     460Gi   7.0Gi    92Gi     8%       7  961M    0%   /System/Volumes/VM

$ df -h | awk '$5+0 > 80 {print $1, $5}'

$ awk '$1 !~ /^#/ && NF > 0 {print $0}' /etc/fstab

$ awk '{sum += $1} END {print "总和是：", sum}' numbers.txt

$ awk '{ip[$1]++} END {for (i in ip) print ip[i], i}' access.log | sort -nr | head -5

$ awk '{gsub(/old/, "new", $0); print}' file.txt