Как да използваме Wget за изтегляне на всичко от интернет

2019

Wget е помощна програма за команден ред, която може да се използва за изтегляне на почти всичко, което е на разположение в интернет. Уловът е, че той трябва да бъде достъпен през HTTP, HTTPS или FTP протоколи; в противен случай Wget няма да може да го изтегли. Има няколко начина, по които Wget може да се използва, например, можете да използвате Wget, за да изтеглите всяко изображение на уебсайт, или можете да изтеглите и един файл. Wget дори може да възобнови изтеглянията, когато е възможно. Така че, ако се чудите как работи Wget и какво може да направи за вас, ето как да използвате Wget :

Инсталиране на Wget

1. Инсталиране на Wget на macOS Sierra

Преди да започнем с използването на Wget, ще трябва да го инсталираме в нашата система. Сега, за щастие, повечето дистрибуции на Linux идват с предварително инсталиран Wget, така че няма да се налага да извършвате никаква допълнителна работа. Ако обаче сте на Mac, ще трябва да инсталирате Wget. Това може да стане лесно с помощта на Homebrew (изтегляне). Ако се нуждаете от помощ, ето ви стъпките, които трябва да изпълните:

Първо, ще трябва да инсталирате Homebrew на вашия Mac, за да можете да изтеглите Wget. За да направите това, просто стартирайте терминала и въведете следната команда:

 / usr / bin / ruby -e "$ (сгъване -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

След завършване на командата, Homebrew ще бъде инсталирана на вашата система. Вече можете да използвате Homebrew за инсталиране на пакети, като Wget. В терминала просто изпълнете следната команда:

 варя инсталирате wget

Homebrew автоматично ще започне изтеглянето, разопаковането и инсталирането на Wget на вашата система. Тази стъпка може да отнеме известно време, в зависимост от скоростта на вашата мрежа, така че бъдете търпеливи. След като командата завърши, трябва да можете да използвате Wget на вашия Mac. За да проверите дали е инсталиран, просто използвайте командата:

 wget -V

2. Инсталиране на Wget в Windows

Инсталирането на Wget в Windows отнема малко повече усилия, но лесно може да се направи. Ако искате да инсталирате Wget на вашия компютър с Windows, просто следвайте стъпките по-долу:

Първо изтеглете Cygwin и след това изпълнете изтегления инсталационен файл .

Когато попита за източник на изтегляне по подразбиране, изберете опцията, която казва “ Инсталиране от интернет ”, и щракнете върху “Напред”.

Изберете инсталационна директория за Cygwin, както и директория, в която ще съхранявате пакети за инсталиране на помощни програми.

На следващия екран трябва да изберете интернет връзката си. Ако използвате прокси сървър, изберете типа на прокси сървъра и попълнете подробностите. За повечето потребители обаче изборът ще бъде „ Пряка връзка “.

След това ще ви бъде показан списък с огледала, изберете някое от тях, за да изтеглите Cygwin. Ако изтеглянето не успее, можете да опитате отново с друго огледало.

В следващия прозорец потърсете „wget“ и кликнете върху плюс до „web“ в списъка, който се появява. Тук отметката до " wget " ще бъде избрана автоматично. Просто кликнете върху „Напред“.

Следващият екран ще ви покаже пакетите, които трябва да изтеглите. Просто кликнете върху „Напред“.

След като инсталацията приключи, ще бъдете попитани дали искате да създадете икона на работния плот и / или да добавите запис в стартовото меню . Това е изцяло въпрос на лични предпочитания, но бих Ви предложил поне да го добавите в стартовото меню, за да можете лесно да го намерите.

Това е. Wget вече е инсталиран на вашия компютър с Windows. Въпреки това няма да можете да го стартирате от командния ред. Вместо това ще трябва да стартирате Cygwin Terminal и да използвате Wget от там .

Как да използваме Wget

Сега, когато имаме Wget и работим в нашата система, нека да проучим всички страхотни начини, по които можем да използваме Wget за изтегляне на файлове, папки и дори цели уеб сайтове от интернет. Ето няколко интересни неща, които можете да направите с Wget на вашата система.

Забележка : Използвам Wget на MacBook Air с MacOS Sierra 10.12.3 beta. Въпреки това, тъй като помощната програма, която използваме, е една и съща (Wget), командите ще бъдат едни и същи на всяка операционна система, в която може да използвате Wget.

1. Използвайте Wget за изтегляне на файлове

Можете да използвате Wget за лесно изтегляне на файлове от интернет. Просто използвайте следната команда

 Wget

Изтеглете файл и го запазете с конкретно име на файл

Файловете на сървърите понякога имат най-странните имена и може да искате да изтеглите файла и Wget автоматично да го преименува в нещо, което е по-разумно за вас. За да направите това, просто използвайте следната команда

 wget -o

Изтегляне само на конкретни типове файлове

Уеб сървърът може да хоства няколко различни файла. И така, какво ще стане, ако искате да изтеглите всички PDF файлове на сървъра или може би всички GIF файлове? Просто използвайте следната команда:

 wget -r -A pdf

Тази специална команда е била използвана от Марк Цукерберг в стаята на Харвард, за да свали всички изображения само с една команда и да изгради скандалния сайт „facesmash.com“.

 wget -r -A jpg, jpeg, png, bmp

2. Изтеглете файлове от няколко URL адреса с Wget

Да кажем, че трябва да изтеглите файлове от различни места в интернет. Може да има PDF файл на url1, важен ZIP файл на url2 и нещо друго в url3 . Ако сте използвали Wget по традиционния начин, ще трябва да го изпълните три пъти. Въпреки това, има много по-лесен начин да направите това.

Първо, създайте файл с всички URL адреси, от които трябва да изтеглите данни. Уверете се, че поддържате всеки URL адрес в собствения си ред . Запазете файла и се уверете, че помните името.

В Терминал използвайте следната команда, за да изтеглите файлове от всички URL адреси:

 wget -i

където " file_name " е името на файла, който сте създали с всички URL адреси, от които се нуждаете, за да изтеглите неща от.

3. Изтеглете цял уебсайт с Wget

Да, прочетете това право. Можете също да използвате Wget, за да изтеглите съдържанието на цял уебсайт. Очевидно, ако сайтът е твърде голям, тази команда ще отнеме много време, за да приключи, да не говорим, че ще изяде много място във вашата система. Въпреки това, ако искате да използвате Wget, за да изтеглите цял уебсайт, просто използвайте следната команда:

 wget -mirror -p -P ./LOCAL-DIR WEBSITE-URL

Това ще изтегли целия уебсайт в папка “ LOCAL-DIR ” във вашата работна директория. Файловете на уебсайта ще се съхраняват в папка със същото име като уебсайта, благодарение на „ WEBSITE-URL “.

4. Използвайте Wget като уеб паяк

Можете също така да направите Wget да действа като уеб робот (или уеб паяк). Това е полезно, когато искате да потвърдите, че URL адресът на файла, който искате да изтеглите, е валиден . За да използвате Wget като уеб паяк и да проверите валидността на URL адресите, използвайте следната команда:

 wget - spider

Това ще провери дали посоченият от вас URL съществува и ще получите отговор, който ще ви информира за резултатите от проверката.

Позитивен отговор:

Отрицателен отговор:

5. Продължете непълни изтегляния

Това е още едно страхотно нещо, което Wget може да направи. Да речем, че сте сваляли файл с Wget, но по някаква причина трябваше да изключите лаптопа си. Следващият път, когато искате да опитате да изтеглите същия файл, Wget може действително да продължи изтеглянето за вас. Трябва само да сте сигурни, че сте в същата папка, в която сте изтегляли файла последния път, и след това използвайте следната команда:

 wget -c

Когато Wget види, че част от файла вече присъства във вашата система, той автоматично ще продължи изтеглянето.

Забележка : Ако файлът на сървъра е бил променен от последния път, когато сте опитали да го изтеглите, тогава не трябва да използвате тази команда, защото това ще доведе до повреден файл, който няма да можете да четете.

Също така, ако сървърът не позволява продължително изтегляне, Wget ще откаже да започне изтеглянето от нулата. Ако искате да започнете изтеглянето от нулата, първо трябва да изтриете частично изтегления файл от вашата система .

Има още няколко условия за използване на този аргумент и можете да прочетете повече за него на страницата на мъжа Wget.

6. Ограничете скоростта на изтегляне

Ако използвате Wget за изтегляне на файлове и сърфиране в интернет заедно с него, вероятно няма да искате цялата ви честотна лента да се използва от Wget. За щастие, Wget включва аргумент, който можете да използвате, за да ограничите размера на честотната лента, която Wget може да използва за изтегляне на файлове във вашата система:

 wget - лимит =

Забележка : Имайте предвид, че скоростта е спомената в байтове, а не в бита. Така че, ако използвате Wget - лимит = 20k, това ще ограничи използването на честотната лента до 20 kB, а не 20 kb.

7. Използвайте Wget за изтегляне на файлове от FTP сървъри

Ако трябва да изтеглите файл от FTP сървър, можете да го направите и с Wget. Просто използвайте следната команда, за да изтеглите файлове от FTP сървъри:

 Wget

Изтегляне на файлове от FTP сървъри с Вход

Ако вашият FTP сървър изисква влизане, за да позволи изтегляне на файлове, можете просто да премине пълномощията с Wget, както добре. Просто използвайте следната команда:

 wget --ftp-username = USERNAME --ftp-password = ПАРОЛА

Лесно използвайте Wget за изтегляне на файлове от интернет

Можете да използвате Wget за изтегляне на файлове от всяко място в интернет. Въпреки това, докато Wget почти винаги работи, има определени сървъри, които предотвратяват достъпа до Wget, в който случай можете да опитате да промените –user-agent за вашата команда Wget. Това обаче не е препоръчителен начин на действие, освен ако не сте напълно наясно какво правите. В по-голямата си част Wget ще ви позволи да изтеглите всеки файл от интернет, стига да имате достъп до него и неговия URL адрес.

И така, използвали ли сте някога Wget за изтегляне на файлове от интернет? Споделете с нас опита си с използването на Wget за изтегляне на файлове, през протоколите HTTP, HTTPS и FTP. Също така, ако знаете за някои други употреби на Wget, за които смятате, че заслужават да бъдат включени в този списък, ни кажете за тях в раздела за коментари по-долу.