Скачать сайт при помощи wget

GNU Wget - мощная утилита для загрузки файлов из интернета при помощи консоли. Wget позволяет загружать любые файлы во всемирной паутине (в том числе и XHTML-страницы) по протоколам http и https, а также файлы и списки каталогов по протоколу ftp. Файлы можно скачивать рекурсивно по ссылкам в HTML страницах, как с одного сайта с определённой глубиной следования по ссылкам, так и с нескольких. Wget поддерживает докачку файла в случае обрыва соединения. Программа включена почти во все дистрибутивы GNU/Linux.

Утилита имеет множество разных флагов! Например, введя в консоль данную команду, утилита скачает весь сайт со всеми вложенными папками и файлами (глубина рекурсии — 10):

vadim@vadim-matebook:~$ wget -r -l 10 -k -o log-file.txt -p https://web-vm.site/

-r, --recursive включение рекурсивной загрузки
-l, --level=ЧИСЛО глубина рекурсии (inf и 0 - бесконечность, в нашем случае 10!)
-k, --convert-links делать ссылки локальными в загруженном HTML или CSS
-o, --output-file=ФАЙЛ записывать сообщения (логи) в ФАЙЛ
-p, --page-requisites загрузить все изображения и проч., необходимые для отображения HTML-страницы
-m, --mirror короткий параметр, эквивалентный -N -r -l inf --no-remove-listing.

Но обычно необходимо лишь несколько флагов для скачки всего многостраничного сайта с необходимым контентом (css, js, images):

wget --page-requisites -r -l 10 --no-check-certificate https://web-vm.site/

либо

wget --page-requisites -r -e robots=off -k -l 10 https://web-vm.site/

Если нужна только главная страница с необходимым контентом (css, js, images):

wget --page-requisites --no-check-certificate https://web-vm.site/

Так как Wget является неинтерактивной программой, то после её запуска пользователь может повлиять на её работу только с помощью средств управления процессами операционной системы. используются сочетания клавиш Ctrl+C при необходимости прерывания работы программы.

P.S. Использовать данные команды следует только в ознакомительных и учебный целях.))


Ссылка на видео с канала WebDesign Master -> youtube.com

openImgPic