Дарю скрипт
-
Перевел учебный проксифайндер (который работает с hideme) на запросы и совместил с прокси-чекером
(хотя не помню, может, он и был совмещенный, но не на запросах точно).
За 6 секунд отработал 6 страничек.
Пользуйтесь кому надо.
0_1499236976050_proxy finder+checker.xml
-
@Viktor Спасибо, переход на get-запросы это очень хорошо.
Тут на форуме где то выкладывали прокси парсер который за минуту 20к уникальных прокси находит. С кучи разных сайтов.
-
@Fox Значит, я опоздал...Но этот скрипт работает с hide.me. Он же запрещает гет-запросы. Оказалось, надо всего лишь поставить юзер-агент и усе. :)
-
@Viktor Глянул скрипт.
Странички лучше парсить все, чем спрашивать у пользователя. Для этого можно получить на странице номер последней страницы.
Устанавливать refer можно напрямую в экшене, не вставляя в переменную.
Для файлов c:\good_http и c:\socks5_http лучше добавить расширение, хотябы txt.
Функция proxy_pars пустая. Можно удалить. Функция zapreti есть, но ни где не используется. Да и экшен запретить загрузку работает в браузере и для get-запросов он не нужен.
А остальное норм. Так держать!
-
@Fox спасибо :) Я знаю, что скрипт не доработан. Я его выложил только потому, что сайт запрещает запросы ( "Мне кажется, вы бот. Для ботов у нас предусмотрен отдельный API доступ за скромную плату. Это гораздо удобнее, чем парсить эту страницу."), а у меня разрешает:)
Часа два возился, курил фидлер, потом понял, что нужно просто поставить юзер-агент:)
Регуляркой из кукисов вытаскивал ид, приделывал его к ссылке...
Как победил, на радостях выложил...Может, кому пригодится из новичков..
-
@Fox я бы парсил, пока не стала бы пустая переменная со списком. Так кажется быстрее.
А как ставить refer в экшене?
-
@Viktor Получить через Xpath номер последней страницы быстрее всего :). Плюс есть вероятность, что переменная со списком не будет пустой, когда страницы закончатся.
Данные refer в экшене выглядят так:
-
@Fox ааа, я понял в чем дело. Я исходил из того, что Реферер должен быть все время разный, с четко предыдущей страничкой. Потом понял, что это все не надо, а убрать забыл. Отсюда и переменная, которая менялась бы в конце цикла.
-
не-работает у меня :(
-
@Sigurd2017 что именно не работает?
-
@Viktor Вообще, при нажатии на пуск, он просто ничего неделает, и кнопки пуск и пауза становяться серыми, активными остаються только стоп и перезапустить. и ничего не-происходит.
-
@Sigurd2017, скрипт на запросах ведь, в окне браузера ничего не отобразится.
-
@UA Тогда результат же какойто он должен выдавать у меня кудато ? А то он так висит хоть пол часа, и ничего. Куда он сохраняет прокси тогда ?
-
@Sigurd2017, в корень диска C.
-
@Sigurd2017 это скрипт для ознакомления больше. Но свою работу делает, сохраняет в корень диска Це. гуд_хттп и гуд_сокс с соответствующими проксями..
-
скрипт не работает уже? 0 результатов
-
У меня что-то парсит и в конце выдаёт, что всё спрасил но.... нигде не сохраняет результат... я и в файле, который я указал смотрел... в на диске С, как здесь на форуме подсказывают... к сожалению нигде результатов не вижу...
Поймите правильно, я не жалуюсь. Я благодарен автору, который потратил время, создал и выложил скрипт... я просто пытаюсь понять где найти сохранённые результаты...
-
@aveko Открой скрипт в режиме "записи" и посмотри куда сохраняются результаты.
-
@Fox - Вот кому сказать - не поверят... Я специально пошёл и сделал всё как ты мне сказал... а там одна "Инициализация"... я думал глюк... открыл повторно... тоже самое... перезапустил BAS - тоже самое... закачал файл повторно... тоже самое... долго сидел у монитора и думал написать об этом или притвориться, как будто не увидел сообщение и просто забыть про этот скрипт... ну засмеют же... скажут, что глаза из одного места и т.п.... ну вот... теперь не знаю что делать... наверное попробую ещё комп перезагрузить... может это поможет... хотя при чём тут комп... ладно...
-
@aveko Только что скачал скрипт из первого поста:
Возможно что то блокирует файл. После скачивания открой его в блокноте, он не должен быть пустым (сам файл весит у меня 45.2 КБ (46,369 байт))
-
Да, спасибо @Fox !
Явно был какой-то глюк. После скачивания вроде размер файла нормальный - а потом он становиться 2кб. Очень странно... Скачал в очередной раз и назвал его по другому. Вроде бы файл в размере не похудел...
Файл пишет в [[RESOURCE_LOCATION]] что тремя функциями ранее видно, что равна ресурсу "SOHRANIT_KAK_PROXY_PORT" - то есть место, которое я указываю. Вот и не могу понять, почему не пишет в файл .txt который я указал...
