Мониторинг запросов
-
Наверное, была бы полезна функция мониторинга запросов по маске. С помощью нее можно будет парсить контент, который грузится с сервера по частям с рандомными ссылками (например видео). Правда, не знаю, как увеличить скорость запросов - видео не всегда грузится без остановки, а подгружается по мере надобности. Возможно, можно как-то ускорить течение времени в работе javascript (что-то типа speedhack). В конце мониторинга будет массив с запросами, из которых можно получить весь нужный файл.
Либо же данная функция поможет в парсинге контента, у которого ссылка генерируется рандомно и средствами js. Тогда просто ставим мониторинг например на mediasite.ru/video/*.mp4
-
Это наверное не так просто поскольку качать потоковое видео со стриминговых площадок сейчас могут только либо узко направленные софты, либо Internet Download Manager. Ютуб тоже можно считать "потоко-стриминговым" сервисом.
-
@venom777 Почему не так просто? Как раз с этой функцией было бы просто. Все запросы, попадающие под фильтр, сохраняются в массиве. Затем массив перебирается, и каждый фрагмент склеивается в один файл (склейка уже своими силами, в проекте, но тогда еще нужно добавить поддержку бинарных данных, сейчас с файлами работает как с текстом, если не ошибся)
-
@blackhacker Сейчас содержание ответа от сервера можно получать через кеш и ответы склеиваются, но не по оригинальной маске, а в урл запросов. Я сделаю действие, которое получает список урл в кеше, с помощью него можно будет решить вашу задачу.
С бинарными данными можно работать с помощью base64
-
Еще хотел предложить сделать перехват и подмену контента в запросах, но это уж на ваше усмотрение. Пока в мыслях только два применения, но возможно их будет больше.
- Внедрение какого-либо js-скрипта. Можно запретить запрос, а затем уже выполнить js на странице, но тогда сработает событие onerror (если есть), если запрос запрещен и загрузка не удалась.
- Загрузка статического контента, который не меняется. Например, если используются плохие прокси, то можно загружать статический контент из сохраненных файлов, уменьшив количество запросов к серверу. Для этого есть кеш, но он ведь очищается после сброса браузера?
-
@blackhacker Да, у меня тоже была такая идея, с текущей реализацией это сделать просто.
По второму пункту, можно будет задавать папку, куда хром будет писать временные файлы.
-
удалось ли уже реализовать данные решения, касательно отсекания *.mp4 или подмены запроса на другой, например локальный, что бы все тяжелые, но необходимые элементы страницы кешировать локально и не создавать нагрузку на канал. Было бы здорово :)
-
@Sevenup Пока нет.
-
Подмену js кто-то делал в басе?
Я ток догадался через фидлер автореспонс делать... Работает конечно, но хотелось бы сразу в басе это делать)
