Content Downloader супер комбайн

Сразу и сходу могу сказать это самая ахуенная программа из всех которые у меня есть. И если бы ее стоимость была в 10 раз выше, то все равно я бы сказал что она стоит этого. Реальная же стоимость CD — 37 долларов (1147 рублей).

В моем арсенале, эта прога занимает первое место по количеству запусков и по количеству принесенной пользы. Поскольку она умеет кучу всего, перечислять все это не буду, прочитать можно на странце программы

Программа обновляется очень часто почти каждый день, иногда даж по пару раз в день, обновление автоматическое  и не занимает много времени, а чтобы реально убедиться в частоте обновления вот пруффф:

К тому же у программы очень отзывчивый суппорт + система помощи с большим количеством видео, ну и конечно форум

Собственно с радостными воплями я закончил, теперь о программе. Выглядит  главное рабочее окно Content Downloader вот так:

Вся фишка CD в том, что это своего рода комбайн, который можно приспособить к чему  угодно. Спарсить сайт, магазин, ПС, или еще что то, примеры парсинга.  Я как то раз парсил базу синонимов с одного англоязычного сайта synonym.com . И чтобы убедится что делается это очень просто, я покажу все по пунктам:

Заходим на сайт synonym.com, в форму поиска синонима вбиваем какое- нибудь слово, к примеру Ball. В результате появляются синонимы слова Ball, а url приобретает такой вид synonym.com/synonyms/ball/

Подставляя другие запросы в URL  получаем ссылки на страницы синонимов.  К примеру

synonym.com/synonyms/eat/

synonym.com/synonyms/fire/

synonym.com/synonyms/mother/

Убедившись что все запросы имееют одинаковое строение URL необходимо задать границы парсинга для этих синонимов. Границы парсинга задаются с помощь встроенного инструмента CD ( про границы парсинга более подробнее в справке CD) Выглядит это следующим образом:

Задав границы парсинга для основного слова + для его синонимов необходимо задать правило по которому они будут выводится. 

У меня они выводятся по принципу: сначал граница 1 — это само слово, потом через запятую граница 2 — синоним слова.

Основная часть закончена, теперь осталось дело за малым.  Найти много английски слов, к которым будут подбираться синонимы, подставить их  в url. И начать парсинг

Для примера, я взял небольшую базу из  1000 Английских слов. И с помощью CD сделал из них ссылки, по принципу который описан выше.

Получится должно что то вроде этого:

Тоесть, нехитрыми манипуляциями мы имеем 1000 ссылок на страницы, где могли бы быть синонимы. А с помощью предпросмотра элементов можно убедится что все сделано правильно.

Когда все настроено и проверено, можно нажимать заветную кнопку F5. В течении 2-3 минут прога пройдется по всем ссылкам и достенет необходимые синонимы, затем аккуратно сложит их в файлик. Этот списочек необходимо почистить, от слов, для которых синонимы не нашлись и в принципе можно использовать. Content Downloader имеет встроеный синонимайзер.

Пример парсинга синонимов — это только маленькая верхушка из того, что может проделывать Content Downloader. В дальнейшем сделаю еще несколько подробных обзора как можно юзать эту чудо прогу.

p.s  Если заинтересовала тема то вот 52000 английскийх слов скачать