Иногда недостаточно просто сохранить сайт локально из вашего браузера. Иногда вам нужно немного больше энергии. Для этого есть небольшой инструмент командной строки, известный как Wget. Wget — простая программа, которая может загружать файлы из Интернета. Вы можете или не можете знать о Wget уже много, но после прочтения этой статьи вы будете готовы использовать его для всевозможных трюков.
Wget доступен для использования в UNIX и Windows из командной строки, но есть возможность установить wget на Mac OS X с небольшим уговором. Итак, когда вы знаете, какие вещи вы можете использовать для Wget, его можно переносить на любую ОС, которую вы используете — и это удобно. Еще лучше то, что wget можно использовать в пакетных файлах и заданиях cron. Это где мы начинаем видеть реальную силу за Wget.
Основной Wget
Основное использование — это wget URL .
wget http://.com/
Наиболее простые варианты, которые нужно знать большинству людей, это справочная информация ( wget -b ), продолжить частичную загрузку ( wget -c ), количество попыток ( wget –tries = NUMBER ) и, конечно, помощь ( wget -h ), чтобы напомнить себе обо всех варианты.
wget -b -c --tries = NUMBER URL
Умеренно расширенные параметры Wget
Wget также может работать в фоновом режиме (wget -b ), ограничивать скорость загрузки ( wget –limit-rate = SPEED ), нет родительского элемента , чтобы гарантировать загрузку только подкаталога ( wget -np ), обновлять только измененные файлы ( wget -N ), зеркально отразить сайт ( wget -m ), убедиться, что новые каталоги не созданы ( wget -nd ), принять только определенные расширения ( wget –accept = LIST ) и установить время ожидания ( wget –wait = SECONDS ) ,
wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST --wait = СЕКУНДА URL
Скачать с Wget рекурсивно
Вы можете рекурсивно загружать ( wget -r ), размещать хосты в других доменах ( wget -H ), конвертировать ссылки в локальные версии ( wget –convert-links ) и устанавливать уровень рекурсий ( wget –level = NUMBER, используя inf или 0 для бесконечный ).
Но некоторые сайты не хотят, чтобы вы загружали рекурсивно, и будут проверять, какой браузер вы используете, пытаясь заблокировать бота. Чтобы обойти это, объявите пользовательский агент, такой как Mozilla ( wget –user-agent = AGENT ).
wget -r -H --convert-links --level = NUMBER --user-agent = АГЕНТ-URL
Защищенный паролем Wget
Можно объявить имя пользователя и пароль для определенного URL-адреса при использовании wget ( wget –http-user = USER –http-password = PASS ). На общих машинах это не рекомендуется, так как любой, кто просматривает процессы, сможет увидеть пароль в виде обычного текста.
wget --http-user = USER --http-password = PASS URL
Примером этого в действии является использование wget для резервного копирования ваших заданий из по резервному копированию Remember The Milk для ваших задач RememberTheMilk по резервному копированию для ваших задач .
Wget Массовая загрузка
Сначала создайте текстовый файл со всеми URL-адресами, которые вы хотите загрузить, используя wget, и назовите его wget_downloads.txt . Затем, чтобы загрузить URL-адреса оптом, введите следующую команду:
wget -i wget_downloads.txt
Классное использование для Wget
Это будет сканировать веб-сайт и генерировать файл журнала любых неработающих ссылок:
wget --spider -o wget.log -e robots = off --принимать 1 -r -p http://www.mysite.com/
Это займет текстовый файл ваших любимых музыкальных блогов и скачать любые новые файлы MP3:
wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e роботы = off -i musicblogs.txt
Для чего еще вы используете wget?
Изображение предоставлено: подключение к социальным сетям через ShutterStock , молодой человек смотрит телевизор через Shutterstock , Globe через Shutterstock