WGet

Описание

GNU Wget — бесплатная сетевая утилита для извлечения файлов из всемирной паутины с использованием HTTP и FTP, двух наиболее широко используемых интернет-протоколов. Он работает неинтерактивно, что позволяет работать в фоновом режиме после выхода из системы.

Поддерживается рекурсивный поиск HTML-страниц, а также FTP-сайтов — вы можете использовать Wget для создания зеркал архивов и домашних страниц или перемещаться по сети, как WWW-робот (Wget понимает /robots.txt).

Wget работает исключительно хорошо на медленных или нестабильных соединениях, продолжая получать документ до тех пор, пока он не будет полностью извлечен. Повторное получение файлов с того места, где оно было остановлено, работает на серверах (как HTTP, так и FTP), которые его поддерживают. Сопоставление подстановочных знаков и рекурсивное зеркалирование каталогов доступны при получении через FTP. Как HTTP, так и FTP-запросы могут иметь отметку времени, поэтому Wget может видеть, изменился ли удаленный файл с момента последнего поиска, и автоматически получать новую версию, если она была.

Wget поддерживает прокси-серверы, которые могут снизить нагрузку на сеть, ускорить поиск и обеспечить доступ через брандмауэры. Если вы находитесь за брандмауэром, который требует использования шлюза в стиле socks, вы можете получить библиотеку socks и скомпилировать wget с поддержкой socks.

Большинство функций настраиваются либо с помощью параметров командной строки, либо с помощью файла инициализации .wgetrc. Wget позволяет установить глобальный файл запуска (etc/wgetrc по умолчанию) для настроек сайта.