Squid Proxy Server (Wget / .wgetrc)

Squid (Proxy) — программный пакет, реализующий функцию кэширующего прокси-сервера для протоколов HTTP, FTP, Gopher и HTTPS. 

Squid Proxy Server используется в UNIX-подобных системах и в ОС семейства Windows NT. Имеет возможность взаимодействия с Active Directory Windows Server путём аутентификации через LDAP, что позволяет использовать разграничения доступа к интернет ресурсам пользователей, которые имеют учётные записи на Windows Server, также позволяет организовать «нарезку» интернет трафика для различных пользователей. 

Wget является неинтерактивной программой. Это означает, что после её запуска пользователь может повлиять на её работу только с помощью средств управления процессами операционной системы. Как правило, для этого используются сочетания клавиш Ctrl+C при необходимости прерывания работы программы и Ctrl+Z для помещения текущего задания в фон. Современные web-браузеры как правило имеют функцию закачки файлов, однако так как браузер рассчитан на интерактивный режим работы, то скачивание большого количества файлов вручную может быть утомительным.

Браузеры, как правило, не предоставляют средств для автоматизации подобных задач. Wget же, например, поддерживает загрузку URL, указанных в файле. Таким образом можно составить список файлов, а в любое удобное время скачать их с помощью wget. Интерфейс командной строки позволяет управлять wget из других программ и скриптов, что используется при автоматизации загрузки файлов (регулярные обновления, мониторинг доступности сервера и т. д.). 

Как заставить wget работать с Squid в операционных системах UNIX или Linux?

Вам необходимо определить переменные shell следующим образом:

HTTP_PROXY={YOUR-PROXY-Server-IP-HERE}:{YOUR-PROXY-SERVER-Port-Here}
FTP_PROXY={YOUR-PROXY-Server-IP-HERE}:{YOUR-PROXY-SERVER-Port-Here}

Вы можете поместить эти две директивы в файл ~/.wgetrc:

echo 'HTTP_PROXY=192.168.1.254:3128'>> ~/.wgetrc

echo 'FTP_PROXY=192.168.1.254:3128'>> ~/.wgetrc

Теперь вы можете использовать wget:

$ wget http://example.com/file.tar.gz

Вы также можете определить переменные shell следующим образом:

export http_proxy=http://192.168.1.254:3128/

Вы можете передать имя пользователя и пароль прокси следующим образом:

wget --proxy-user=YOUR-USERNAME-HERE --proxy-password=YOUR-PASSWORD-HERE http://192.168.1.254/file.tar.gz

Команда wget поддерживает комбинацию имени пользователя и пароля для получения файлов по FTP и HTTP. 

wget options url

wget --user=NAME --password='PASSWORD' url

wget --user=NAME --password='PASSWORD' ftp://url/path/file.name

wget --user=NAME --password='PASSWORD' http://url/path/file.name

Укажите имя пользователя user и пароль password для получения файлов по FTP и HTTP. Эти параметры могут быть переопределены с помощью опций --ftp-user и --ftp-password для FTP-соединений и опций --http-user и --http-password для HTTP-соединений. Чтобы загрузить файл pass.pdf из домена crimea-karro, введите:

$ wget --user=kaa --password='myPassword' http://crimea-karro/protected/area/pass.pdf

$ wget --user=kaa --ask-password http://192.168.1.10/docs/pass.pdf

Пароли в командной строке видны с помощью команды ps. Это является функцией безопасности. Передайте опцию --ask-password, чтобы pompt запрашивал пароль для каждого установленного соединения. Не может быть указана при использовании опции --password, поскольку они взаимоисключающие:

$ wget --user=kaa --ask-password http://crimea-karro/protected/area/pass.pdf

Как прочитать имя пользователя и пароль из файла? Это функция безопасности. Создайте файл ~/.wgetrc. Синтаксис для хранения учетных данных для входа в систему следующий:

$ cat ~/.wgetrc
user=kaa
password=sosi777bold123

Конечно, вы можете настроить отдельные учетные данные FTP и HTTP следующим образом:

$ cat ~/.wgetrc
ftp_user=kaaftp
ftp_password=mywp_sosi777bold123
http_user=kaakhttp
http_password=mywp_sosi777bold123

Убедитесь, что только вы можете читать файл ~/.wgetrc:

$ chmod 0400 ~/.wgetrc

$ chown kaa:kaa ~/.wgetrc


Wget позволяет загружать любые файлы во всемирной паутине (в том числе и (X)HTML-страницы) по протоколам http и https, а также файлы и списки каталогов по протоколу ftp. 

 

Последние материалы