Wget

Wget - свободная не-интерактивная программа для загрузки файлов по сети. Поддерживает протоколы HTTP, FTP и HTTPS, а также поддерживает работу через HTTP прокси-сервер. Программа включена почти во все Linux-дистрибутивы.

Закачивание файлов

Эта программа очень популярна, по ней написанно массу всякой полезной информации, однако, я буду пополнять список основных (базисных) команд, которые могут потребоваться время от вреени в различных ситуациях.

Скачать файлы из директории по маске

wget --no-parent -nd -r -c -t inf -a log -A "*.iso" -A "SHA*" -A "MD5*" http://cdimage.debian.org/debian-cd/5.0.1/i386/iso-dvd/ &

• http://cdimage.debian.org/debian-cd/5.0.1/i386/ адрес по которому идёт скачивание файлов

• -A "*.iso" -A "SHA*" -A "MD5*" маска под которую попадают нужные нам файлы, т.е. файлы *.iso, SHA*, MD5*. При этом можно указать в качестве маски *, что означает скачать всё из директории (важно помнить о том, что может быть скачена и родительская директория => надо применять блокирующий параметр --no-parent

• -r скачивание идёт рекурсивно

• --no-parent родительская директория при рекурсивном скачивании НЕ будет скачиваться (то есть её wget игнорирует, что полезно, если надо скачать файлы по маске *),

• -nd файлы будут сохранятся в текущую директорию из которой запущена команда и новая создаваться не будет (nd == no directory). Данная фича сильно вредит, если скачивается целая директория с подкаталогами. При этом wget скачивает только файлы, не соблюдая ветвления на каталоги, скидывая всё в тут папку, откуда была запущена команда!,

• -c wget будет пытаться докачивать файлы с указанного источника, если он найдёт в папке куда вы качаете уже существующие там файлы с теме же именами, которое вы указали скачать ему

• -t inf позволит бесконечно докачивать файл при обрыве связи

• -a log будет вести лог скачки в файл log, который создасться в текущей директории

• & переведёт процесс в фоновый режим (как и любой другой впрочем)

Ссылки

• сайт проекта wget