Парсер прокси с hideme
-
Ребята сделал - парсер прокси "для себя" - работает отлично - время работы 15-19 секунд - на выдаче более 100 прокси - выкладываю проект для примера - есть очень интересные нюансы построения шаба - виды сбора прокси меняете ручками - все просто и логично. Кому стал полезен не забываем поблагодарить +1∧
0_1472127181865_proxi_parse_hideme.xml
-
@Turutur Вы не против, если я включу проект в стандартные примеры, которые идут вместе с БАС?
-
@support said in Парсер прокси с hideme:
Вы не против, если я включу проект в стандартные примеры, которые идут вместе с БАС?
Я только за буду. Надо как-то активность развивать на форуме. Спасибо - большое дело делаете!
-
Только разбираюсь в программе, не судите строго. В папке "BrowserAutomationStudio" создаю папки "projects/proxy_parse", куда кладу .xml файл (также пробовал "apps/15.0.0/examples"). После, в режиме "Запись", выбираю имя файла (пробовал как новый файл, так и выбирать заранее созданный), запускаю скрипт, в браузере вижу как открывается страница, ставятся галочки, затем в функции парсинга вижу как проходит цикл, затем начинается вновь. Но в итоге файл, в любом случае, пустой. Если проект запускать просто на выполнение, то процесс долго висит, а потом в логе выдаёт следующее:
"Удачно(0)
Неудач(1)
Сообщения:
1 - Не удалось дождаться элемента .pform_type > :nth-child(3) > .checktext
Время работы : 02:13
Последнее сообщение : Слишком Много Ошибок"Что я делаю не так?
-
@errorist Да я проверил работу скрипта - проблема не на вашей стороне - все дело в том, что спарсенные значения сначала попадают в список (переменную) и уже после полного получения данных записываются в файл выбранный пользователем - и если файла нет то он создается.
Сейчас вылезла ошибка в скрипте на моменте "прокрутки к элементу" - стрелка перехода на следующую страницу. Это проблема связанна только с Hideme - у них, как сказал Админ - переназначенны функции навигации в браузере и они тупо не работаю - я даже фикс вставлял, что дал Админ - ручками работает а функциями нет - короче видоизменил скрипт - теперь он берет данные с первой страницы - работает нормально - можете проверять.
0_1472854525077_proxi_parse_hideme_red1.xmlДа и смотрите скрипт выкладываю исходником - не скомпилированный - для того, чтобы Вы сами вникали, что-то можно ручками поправить.
@support Админ, если прочтете - пробегитесь еще раз по теме с Hideme - http://community.bablosoft.com/topic/200/прокрутка-в-браузере/4
Вроде бы в новой версии должен был быть фикс. И еще очень важный момент - заметил такую вещь, что BAS не исполняет действие навести курсор и нажать на элемент, если его не видно в данный момент в отображении браузера, хотя элемент присутствует на странице и является статичным, а не подгружаемым.
-
@Turutur на мой взгляд это хорошая идея, чтобы перед взаимодействием, - движением мышью и кликом, BAS сначала прокручивал страницу перемещая этот элемент в видимую область.
-
@zortexx said in Парсер прокси с hideme:
на мой взгляд это хорошая идея, чтобы перед взаимодействием, - движением мышью и кликом, BAS сначала прокручивал страницу перемещая этот элемент в видимую область.
Я тоже только За! Это максимально эмитирует действия пользователя в браузере! Но в описанном случае - это не срабатывает - и дело не в БАС!, так как на других сайтах все нормально работает - это проблема относится к конкретному сайту...
-
@errorist Как правильно сказали выше, ошибка была в том, что прокрутка не работала в старой версии БАС на сайте hideme.
Новая выйдет сегодня или завтра.
-
@support
Проверил, не было времени отписаться, всё работает, спасибо.
@Turutur
Спасибо ещё раз за скрипт.
