Скрыть объявление
infoclub

Самая большая база в Рунете. Более 23 000 курсов ! Присоединяйся :)

Быстрая регистрация

Ide для создания скриптов для парсинга на основе phantomjs+casperjs

Тема в разделе "Скрипты и программы", создана пользователем Администратор, 16 сен 2014.

  1. Ide для создания скриптов для парсинга на основе phantomjs+casperjs
    Описание программы:

    описание что есть что

    Очень часто вижу тут дорогие скрипты, программы для парсинга и скрапинга контента, но мало кто знает что самая крутая штука для скрапинга (сохранения инфы из интернета у себя на компьютере) являются такие бесплатные опен серс скрипты какphantomjs и slimerjs с дополнением в виде фреймворка casperjs. Phantom и slimer по сути являются полноценными браузерами, которые работают на основе js скрипта который вы должны написать - возможности неограниченные... хотите выкачивайте любой контент с любых сайтов, хотите регайтесь на сайтах, хотите запускайте тесты любой сложности итп... можно все что захотите - единственная сложность нужны базовые знания js и английский тоже не будет лишним для чтения апи... Разница между этими двумя скриптами в том какой двиок браузера они используют - один работает на webkit (phantom) и второй на gecko (slimer - многие справедливо считают что js движок мозилы лучше). Casperjs объединяет оба проекта единым удобным апи с кучей крутых функций.

    чем то это штука похожа на знаменитый плагин для firefox imacros, но гораздо круче... например прямо сейчас я выкачиваю все курсы одного поп сайта (что-то около 600 видео в .mp4) - общий вес видимо больше 30 гигов будет, там все видео описания и доп материалы. все что я сделал это написал скрипт и запустил - он сам все качает раскладывает по папкам, которые сам создает и сам переименовывает папки и файлы... Перед скачкой каждого курса скрипт логинится на сайте где нужно что-то скачать... и самое крутое он вообще не напрягает мой компьютер тк я прописал грузить html но не обрабатывать его...

    Описание раздачи

    Написание подобных скриптов может быть не таким простым как кажется тк не все очевидно и до много приходится доходить методом проб и ошибок и запускать и тестировать скрипты в командной строке, редакторе итп не очень удобно. Для облегчения процесса написания подобных вещей был создан сайт https://www.casperbox.com/ и тк онлайн сервисы не вызывают доверия у людей которые понимают как они работают была создана версия этого сайта для компьютеров на основе node-webkit, что означает что эта прога работает и в windows и в linux и в os x - ей я и делюсь с вами.

    С огромным удовольствием пощу это тут тк прога на основе node-webkit и по моему мнению программы на основе node-webkit обязаны быть 100% бесплатными, но купить все же пришлось)

    Скачать
     
    • 4. В разделе инфопродуктов запрещено писать бессмысленные сообщения: "спасибо,скачал,забрал,искал,кто пробовал" и подобные по смыслу.
    А вот это реально бесполезная штука!
     
Загрузка...
Похожие темы Форум Дата
WEB скрипт для создания видео-СДЛ сайтов Скрипты и программы 5 мар 2016
Скрипт для создания видео-СДЛ Скрипты и программы 15 дек 2015
Скрипт для создания собственной CPA сети Скрипты и программы 17 июл 2015
Шаблон доргена для Вконтакте (Zennoposter) на основе парсинга сниппетов Скрипты и программы 2 сен 2014
Скрипт для приема заказов на любом сайте Скрипты и программы 5 июл 2014
CodeCanyon - Ninja Media Script (Скрипт для создания медиапортала) Скрипты и программы 15 июн 2014