Sed

Введение

Добро пожаловать во вторую часть нашей серии, которая посвящена sed, версии GNU. Существует несколько версий sed, которые доступны на разных платформах, но мы сфокусируемся на GNU sed версии 4.x. Многие из вас слышали о sed, или уже использовали его, скорее всего в качестве инструмента замены. Но это только одно из предназначений sed, и мы постараемся показать вам все аспекты использования этой утилиты. Его название расшифровывается как «Stream EDitor» и слово «stream» (поток) в данном случае может означать файл, канал, или просто stdin. Мы надеемся, что у вас уже есть базовые знания о Linux, а если вы уже работали с регулярными выражениями, или по крайней мере знаете, что это такое, то все для вас будет намного проще. Объем статьи не позволяет включить в нее полное руководство по регулярным выражениям, вместо этого мы озвучим базовые концепции и дадим большое количество примеров использования sed.

Концепции

Перед тем, как идти дальше, мы считаем важным акцентировать внимание на том, что делает «sed», так как словосочетание «потоковый редактор» мало что говорит о его назначении. sed принимает на входе текст, выполняет заданные операции над каждой строкой (если не задано другое) и выводит модифицированный текст

Указанными операциями могут быть добавление, вставка, удаление или замена. Это не так просто, как выглядит: предупреждаю, что имеется большое количество опций и их комбинаций, которые могут сделать команду sed очень трудной для понимания. Поэтому мы рекомендуем вам изучить основы регулярных выражений, чтобы понимать, как это работает. Перед тем, как приступить к руководству, мы хотели бы поблагодарить Eric Pement и других за вдохновление и за то, что он сделал для всех, кто хочет изучать и использовать sed.

Основные команды Sed

Для того чтобы применить SED достаточно ввести в командную строку

echo ice | sed sicefire

Результат:

fire

Обратите внимание на то, что использовать
не обязательно.

Вы можете после s поставить какой-то другой символ, например
или , или
|

Результат будет тем же, главное, чтобы все три разделителя были одинаковыми
и сам символ был без дополнительных смыслов.

echo mice | sed smr

echo mice | sed s,m,r,

echo mice | sed smr

rice

rice

rice

Если вы выбрали |, то команду нужно взять в кавычки — у | есть особая роль в

bash

— pipeline

echo mice | sed ‘s|m|r|’

rice

Если вы редактируете пути до файлов (а они содержат /)
то это как раз тот случай, когда удобно выбрать другой разделитель

Например, нужно заменить /bin/bash на /bin/sh

Намного удобнее использовать @ как разделитель чем

каждый слеш.

Сравните две идентичные команды

sed ‘s@/bin/bash@/bin/sh@’ /etc/passwd

sed ‘s\/bin\/bash\/bin\/sh’ /etc/passwd

Символы-разделители

$ sed «s/\/bin\/bash/\/bin\/csh/» /etc/passwd

Однако, выглядит всё это не очень-то хорошо. Всё дело в том, что так как прямые слэши используются в роли символов-разделителей, такие же символы в передаваемых sed строках приходится экранировать. В результате страдает читаемость команды.

К счастью, sed позволяет нам самостоятельно задавать символы-разделители для использования их в команде замены. Разделителем считается первый символ, который будет встречен после s:

$ sed «s!/bin/bash!/bin/csh!» /etc/passwd

В данном случае в качестве разделителя использован восклицательный знак, в результате код легче читать и он выглядит куда опрятнее, чем прежде.

Найти и заменить строку с помощью sed

Существует несколько версий с некоторыми функциональными различиями. macOS использует версию BSD, в то время как большинство дистрибутивов Linux поставляются с предустановленной по умолчанию GNU . Мы будем использовать версию GNU.

Общая форма поиска и замены текста с помощью имеет следующий вид:

• — По умолчанию записывает свой вывод в стандартный вывод. Эта опция указывает редактировать файлы на месте. Если указано расширение (например, -i.bak), создается резервная копия исходного файла.
• — Заменяющая команда, вероятно, наиболее часто используемая команда в sed.
• — Символ-разделитель. Это может быть любой символ, но обычно используется символ косой черты ( ).
• — обычная строка или регулярное выражение для поиска.
• — строка замены.
• — Флаг глобальной замены. По умолчанию читает файл построчно и изменяет только первое вхождение в строке. Если указан флаг замены, заменяются все вхождения.
• — имя файла, для которого вы хотите запустить команду.

Рекомендуется заключать аргумент в кавычки, чтобы метасимволы оболочки не расширялись.

Давайте посмотрим, как мы можем использовать команду для поиска и замены текста в файлах некоторыми из наиболее часто используемых параметров и флагов.

В демонстрационных целях мы будем использовать следующий файл:

file.txt

Если флаг опущен, заменяется только первый экземпляр строки поиска в каждой строке:

С флагом глобальной замены заменяет все вхождения шаблона поиска:

Как вы могли заметить, подстрока внутри строки также заменена в предыдущем примере. Если это нежелательное поведение, используйте выражение границы слова ( ) на обоих концах строки поиска. Это гарантирует, что частичные слова не совпадают.

Чтобы сделать совпадение с шаблоном нечувствительным к регистру, используйте флаг В приведенном ниже примере мы используем флаги и

Если вы хотите найти и заменить строку, содержащую символ-разделитель ( ), вам нужно будет использовать обратную косую черту ( ), чтобы избежать косой черты. Например, чтобы заменить на вы должны использовать

Более простой и понятный вариант — использовать другой символ-разделитель. Большинство людей используют вертикальную полосу ( ) или двоеточие ( ) , но вы можете использовать любой другой символ:

Вы также можете использовать регулярные выражения. Например, чтобы найти все трехзначные числа и заменить их строковым вы должны использовать:

Еще одна полезная функция sed заключается в том, что вы можете использовать символ амперсанда который соответствует сопоставленному шаблону. Персонаж можно использовать несколько раз.

Например, если вы хотите добавить фигурные скобки вокруг каждого трехзначного числа, введите:

И последнее, но не менее важное: всегда рекомендуется делать резервную копию при редактировании файла с помощью. Для этого просто укажите расширение файла резервной копии для параметра

Например, чтобы отредактировать и сохранить исходный файл как вы должны использовать:

Чтобы убедиться, что резервная копия создана, выведите список файлов с помощью команды :

Вставка текста в поток

• Команда i добавляет новую строку перед заданной.
• Команда a добавляет новую строку после заданной.

$ echo «Another test» | sed «i\First test »

Команда i

Теперь взглянем на команду a:

$ echo «Another test» | sed «a\First test »

Команда a

Как видно, эти команды добавляют текст до или после данных из потока. Что если надо добавить строку где-нибудь посередине?

Тут нам поможет указание номера опорной строки в потоке, или шаблона. Учтите, что адресация строк в виде диапазона тут не подойдёт. Вызовем команду i , указав номер строки, перед которой надо вставить новую строку:

$ sed «2i\This is the inserted line.» myfile

Команда i с указанием номера опорной строки

Проделаем то же самое с командой a:

$ sed «2a\This is the appended line.» myfile

Команда a с указанием номера опорной строки

Обратите внимание на разницу в работе команд i и a. Первая вставляет новую строку до указанной, вторая — после

Использование дополнительного буфера

Дополнительный буфер (hold buffer) увеличивает способность sed выполнять многострочное редактирование.

Дополнительный буфер представляет собой область временного хранения, которая может быть изменена путем определенных команд.

Наличие этого дополнительного буфера позволяет хранить строки во время работы над другими строками.

Команды для работы с буфером:

• h: копирует текущий буфер обработки (последней совпавшей строки, с которой вы работаете) в дополнительный буфер.
• H: Добавляет текущий буфер обработки в конец текущей дополнительной обработки, разделяя их символом \n.
• g: Копирует текущий дополнительный буфер в текущий буфер обработки. Предыдущий буфер обработки будет утерян.
• G: Добавляет текущий шаблон в текущий буфер обработки, разделяя их символом \n.
• x: Подкачивает текущий шаблон и дополнительный буфер.

С контентом дополнительного буфера нельзя работать до тех пор, пока он не перемещён в буфер обработки.

Рассмотрим сложный пример.

Попробуйте соединить смежные строки при помощи следующей команды:

sed -n «1~2h;2~2{H;g;s/\n/ /;p}» annoying.txt

Примечание
: На самом деле, для этого sed предлагает отдельную встроенную команду N; но для практики рассмотреть этот пример полезно.

Опция –n подавляет автоматический вывод.

1~2h – определение адреса, выполняющее последовательную замену каждой второй строки текста, начина с первой (то есть каждой нечётной строки). Команда h копирует совпавшие строки в дополнительный буфер.

Остальная часть команды взята в фигурные скобки. Это означает, что эта часть команды будут наследовать адрес, который был только что указан. Без этих скобок, наследовать адрес будет только команда H, а остальные команды будут выполняться для каждой строки.

Конечно, ранее упомянутая встроенная команда N значительно короче и проще, и возвращает такой же результат:

sed -n «N;s/\n/ /p» annoying.txt
this is the song that never ends yes, it goes on and on, my friend
some people started singing it not knowing what it was
and they»ll continue singing it forever just because…

Экранирование символов в sed

Специальные символы экранируются с помощью \

Что включать в специальные символы зависит от того, какой
sed вы используете, но $.*[\^ а также пробелы и кавычки
советую экранировать всегда.

Пробел также можно заменять на \s
. в регулярных выражениях обозначает один любой символ кроме начала новой строки \n
поэтому, если вы хотите написать url используйте \

Пример экранирования точек и кавычек для смены локали в

CentOS

можете изучить

Предположим, что есть файл

input.txt

следующего содержания

Мы хотим отбросить всё, что находится левее /a, включая /a, и записать в файл.

sed ‘s/^.*/a//’ > output.txt

В результате получим ошибку

-e expression #1, char 15: unknown option to `s’

Чтобы команда заработала нужно добавить \ перед /

sed ‘s/^.*\/a//’ > output.txt

Результат:

Экранирование пробелов может пригодиться при замене одной фразы на другую

Чтобы в скрипте

sites.sh

из директории
/opt/andrei/scripts/ заменить фразу
Bike website topbicycle.ru
на
Travel website heihei.ru
нужно выполнить

sed -i s/Bike\ website\ topbicycle.ru/Travel\ website\ heihei.ru/ /opt/andrei/scripts/sites.sh

Два условия одновременно в Sed

Предположим, что у нас есть файл

input.txt

следующего содержания

Мы хотим отбросить всё, что находится левее /b, включая /b, и всё, что правее
has.

Таким образом, в каждой строчке должно остаться только слово it.

Нужно учесть необходимость экранирования специального символа / а также мы хотим
направить вывод в файл.

sed ‘s/^.*\/b//
;
s/has.*//’ input.txt > output.txt

Результат:

Получить диапазон строк

В случае, когда Вы работаете с большими файлами, например с логами, часто бывает нужно
получить только определённые строки, например, в момент появления бага.

Копировать из UI командной строки не всегда удобно, но если Вы примерно представляете
диапазон нужных строк — можно скопировать только их и записать в отдельный файл.

Например, Вам нужны строки с 9570 по 9721

sed -n ‘9570,9721p;9722q’ project-2019-10-03.log > bugFound.txt

Выполнение наборов команд при вызове sed

$ sed -e «s/This/That/; s/test/another test/» ./myfile

Использование ключа -e при вызове sed

К каждой строке текста из файла применяются обе команды. Их нужно разделить точкой с запятой, при этом между окончанием команды и точкой с запятой не должно быть пробела.
Для ввода нескольких шаблонов обработки текста при вызове sed, можно, после ввода первой одиночной кавычки, нажать Enter, после чего вводить каждое правило с новой строки, не забыв о закрывающей кавычке:

$ sed -e »
> s/This/That/
> s/test/another test/» ./myfile

Вот что получится после того, как команда, представленная в таком виде, будет выполнена.

Другой способ работы с sed

Примеры

Для первого примера, заменим каждое вхождение «пример» на «тест» в файле «dokument».

Дополним команду таким образом, чтобы менялось не только слово «пример», но и это же слово написанное с большой буквы. Для этого будем использовать специальные символы «\|».

Заменим два фрагмента текста: «документ» на «файл»;  «как» на «не». Так как у нас несколько фрагментов текстов, будем использовать ключ «-е».

Теперь сохраним все изменения в файл. Для это будем использовать ключ «-i» редактирования файла на месте.

Удалим все пробелы в начале каждой строки слева.

Теперь удалим все пропуски в конце строки.

Удаление последней строки.

Добавление восьми пробелов в новый файл слева от текстовой информации. Будем использовать перенаправление вывода «>»

Выведение строк c 3 по 5 файла «newfile».

Выведение всего файла «newfile», кроме строк 3-5.

Удалим все пустые строки и сохраним эти изменения в файле.

Утилита «sed» является весьма гибким и максимально удобным инструментом, позволяющим сделать с текстом многие вещи. Такая команда отличается сложностью в усвоении, но дает решить множество задач.

Флаги команды замены

$ sed «s/test/another test/» myfile

Вот что содержится в файле, и что будет получено после его обработки sed.

Исходный файл и результаты его обработки

Команда замены нормально обрабатывает файл, состоящий из нескольких строк, но заменяются только первые вхождения искомого фрагмента текста в каждой строке. Для того, чтобы заменить все вхождения шаблона, нужно использовать соответствующий флаг.

Схема записи команды замены при использовании флагов выглядит так:

S/pattern/replacement/flags

Выполнение этой команды можно модифицировать несколькими способами.

• При передаче номера учитывается порядковый номер вхождения шаблона в строку, заменено будет именно это вхождение.
• Флаг g указывает на то, что нужно обработать все вхождения шаблона, имеющиеся в строке.
• Флаг p указывает на то, что нужно вывести содержимое исходной строки.
• Флаг вида w file указывает команде на то, что нужно записать результаты обработки текста в файл.

$ sed «s/test/another test/2» myfile
Вызов команды замены с указанием позиции заменяемого фрагмента

Тут мы указали, в качестве флага замены, число 2. Это привело к тому, что было заменено лишь второе вхождение искомого шаблона в каждой строке. Теперь опробуем флаг глобальной замены — g:

$ sed «s/test/another test/g» myfile

Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.

Глобальная замена

Флаг команды замены p позволяет выводить строки, в которых найдены совпадения, при этом ключ -n , указанный при вызове sed, подавляет обычный вывод:

$ sed -n «s/test/another test/p» myfile

Как результат, при запуске sed в такой конфигурации на экран выводятся лишь строки (в нашем случае — одна строка), в которых найден заданный фрагмент текста.

Использование флага команды замены p

Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:

$ sed «s/test/another test/w output» myfile

Сохранение результатов обработки текста в файл

Хорошо видно, что в ходе работы команды данные выводятся в , при этом обработанные строки записываются в файл, имя которого указано после w .

Регулярные выражения

Так как команды (скрипты) sed для многих остаются загадкой, мы чувствуем, что наши читатели должны понимать базовые концепции, а не слепо копировать и вставлять команды, значения которых они не понимают. Когда человек хочет понять, что представляют собой регулярные выражения, ключевым словом является «соответствие», или, точнее, «шаблон соответствия». Например, в отчете для своего департамента вы написали имя Nick, обращаясь к сетевому архитектору. Но Nick ушел, а на его место пришел John, поэтому теперь вы должны заменить слово Nick на John. Если файл с отчетом называется report.txt, вы должны выполнить следующую команду:

$ cat report.txt / sed «s/Nick/John/g» > report_new.txt

По умолчанию sed использует stdout, вы можете использовать оператор перенаправления вывода, как показано в примере выше. Это очень простой пример, но мы проиллюстрировали несколько моментов: мы ищем все соответствия шаблону «Nick» и заменяем во всех случаях на «John». Отметим, что sed призводит поиск с учетом регистра, поэтому будьте внимательны и проверьте выходной файл, чтобы убедиться, что все замены были выполнены. Приведенный выше пример можно было записать и так:

$ sed «s/Nick/John/g» report.txt > report_new.txt

Хорошо, скажете вы, но где же здесь регулярные выражения? Да, мы хотели сначала показать пример, а теперь начинается самая интересная часть.Если вы не уверены, написали ли вы «nick» или «Nick», и хотите предусмотреть оба случая, необходимо использовать команду sed «s/Nick/nick/John/g». Вертикальная черта имеет значение, которое вы должны знать, если изучали C, то есть ваше выражение будет соответствовать «nick» или «Nick». Как вы увидите ниже, канал может использоваться и другими способами, но смысл остается тот же самый. Другие операторы, широко использующиеся в регулярных выражениях — это «?», который соответствует повторению предшествующего символа ноль или один раз (то есть flavou?r будет соответствовать flavor и flavour), «*» — ноль или более раз, «+» — один или более раз. «^» соответствует началу строки, а «$» — наоборот. Если вы — пользователь vi или vim, многие вещи покажутся вам знакомыми. В конце концов, эти утилиты, вместе с awk и С уходят корнями в ранние дни UNIX. Мы не будем больше говорить на эту тему, так как проще понять значение этих символов на примерах, но вы должны знать, что существуют различные реализации регулярных выражений: POSIX, POSIX Extended, Perl, а также различные реализации нечетких регулярных выражений, гарантирующие вам головную боль.

Выбор фрагментов текста для обработки

• Задать ограничение на номера обрабатываемых строк.
• Указать фильтр, соответствующие которому строки нужно обработать.

$ sed «2s/test/another test/» myfile

Обработка только одной строки, номер который задан при вызове sed

Второй вариант — диапазон строк:

$ sed «2,3s/test/another test/» myfile

Обработка диапазона строк

Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:

$ sed «2,$s/test/another test/» myfile

Обработка файла начиная со второй строки и до конца

Для того, чтобы обрабатывать с помощью команды замены только строки, соответствующие заданному фильтру, команду надо вызвать так:

$ sed «/likegeeks/s/bash/csh/» /etc/passwd

По аналогии с тем, что было рассмотрено выше, шаблон передаётся перед именем команды s .

Обработка строк, соответствующих фильтру

Тут мы использовали очень простой фильтр. Для того, чтобы в полной мере раскрыть возможности данного подхода, можно воспользоваться регулярными выражениями. О них мы поговорим в одном из следующих материалов этой серии.

Объединение команд

Иногда возникает необходимость передать редактору sed несколько команд одновременно. Это делается несколькими способами.

Если у вас ещё нет тестового файла для работы с sed, создайте следующее окружение:

cd
cp /usr/share/common-licenses/BSD .
cp /usr/share/common-licenses/GPL-3 .
echo «this is the song that never ends
not knowing what it was
just because…» > annoying.txt

Поскольку sed работает со стандартным вводом и выводом, можно, конечно, просто вызвать различные команды sed вместе в одной строке:

sed «s/and/\&/» annoying.txt | sed «s/people/horses/»
yes, it goes on & on, my friend
some horses started singing it
not knowing what it was
& they»ll continue singing it forever
just because…

Такой метод сработает, но несколько вызовов sed создают излишнюю нагрузку, занимают больше места и не используют встроенных возможностей sed.

Передать sed несколько команд одновременно можно при помощи опции –e, которую нужно вставить перед каждой командой:

sed -e «s/and/\&/» -e «s/people/horses/» annoying.txt

Также можно объединить команды в строку при помощи символа точки с запятой. Этот метод работает точно так же как и предыдущий.

sed «s/and/\&/;s/people/horses/» annoying.txt

Обратите внимание: при использовании флага –e возникает необходимость разрывать одиночные кавычки, а при использовании точки с запятой все команды можно перечислить в одних кавычках. Эти два способа одновременного вызова нескольких команд достаточно удобны, однако бывают случаи, когда требуется использовать простую строку команд

Эти два способа одновременного вызова нескольких команд достаточно удобны, однако бывают случаи, когда требуется использовать простую строку команд.

Также следует ознакомиться с оператором =. Этот оператор вставляет номер строки между каждой существующей строкой. Результат выглядит следующим образом:

sed «=» annoying.txt
1
this is the song that never ends
2
yes, it goes on and on, my friend
3
some people started singing it
4
not knowing what it was
5
and they»ll continue singing it forever
6
just because…

Теперь попробуйте отредактировать текст, чтобы понять, как меняется формат нумерации.

Команда G по умолчанию добавляет пустую строку между уже существующими строками.

sed «G» annoying.txt_

this is the song that never ends_

yes, it goes on and on, my friend_

some people started singing it_

not knowing what it was_

and they»ll continue singing it forever_

just because…

Попробуйте скомбинировать эти две команды. Сначала может показаться, что вывод этих команд будет содержать пустую строку между строкой текста и строкой с номером. Однако вывод выглядит так:

sed «=;G» annoying.txt
1
this is the song that never ends_

2
yes, it goes on and on, my friend_

3
some people started singing it_

4
not knowing what it was
. . .
. . .

Это происходит потому, что оператор = изменяет поток вывода (это значит, что использовать полученный вывод для дальнейшего редактирования нельзя).

Это можно обойти при помощи двух вызовов sed, где первый вызов будет восприниматься как простой поток текста для второго.

sed «=» annoying.txt | sed «G»
1_

this is the song that never ends_

2_

yes, it goes on and on, my friend_

3_

some people started singing it
. . .
. . .

Имейте в виду, некоторые из команд работают аналогичным образом, особенно если вы объединяете несколько команд и вывод отличается от ожидаемого.