Wild Spider
web pages are crawled by being loaded into browser using multiple tabs parallelly
Что такое Wild Spider?
Wild Spider - это расширение Chrome, разработанное Xuan Wu, и его основная функция - "web pages are crawled by being loaded into browser using multiple tabs parallelly".
Снимки экрана расширения
Скачать файл CRX расширения Wild Spider
Скачайте файлы расширений Wild Spider в формате crx, установите расширения Chrome вручную в браузере или поделитесь файлами crx с друзьями, чтобы легко установить расширения Chrome.
Инструкции по использованию расширения
WATCH OUT: more tabs you use, more computer resources (CPU, memory) will be used, and each page costs a bit disk to save the content (in IndexedDb, accessible from extensions -> Inspect views: background page).
The "spider" works in this way:
1) The current url is used as the starting point, and it's loaded again in a new tab.
2) After this page is loaded, fetch all the links on the page.
3) Get all the links on the page, including relative urls.
4) Open the extracted link parallelly in all the tabs used (by default 3, set in eventPage).
5) repeat 2-4
All source code at: https://github.com/nobodxbodon/ChromeCrawlerWildSpider Основная информация о расширении
| Название |  Wild Spider |
| ID | aanpchnfojihjddlocpgoekffmjkhbbe |
| Официальный URL | https://chromewebstore.google.com/detail/wild-spider/aanpchnfojihjddlocpgoekffmjkhbbe |
| Описание | web pages are crawled by being loaded into browser using multiple tabs parallelly |
| Размер файла | 121 KB |
| Количество установок | 44 |
| Текущая Версия | 0.0.3 |
| Последнее Обновление | 2019-03-08 |
| Дата публикации | 2019-03-08 |
| Рейтинг | 1.00/5 Всего 1 оценок |
| Разработчик | Xuan Wu |
| Тип оплаты | free |
| Официальный сайт расширения | https://github.com/nobodxbodon/ChromeCrawlerWildSpider |
| URL страницы помощи | https://github.com/nobodxbodon/ChromeCrawlerWildSpider/issues |
| Поддерживаемые языки | en-US |
| manifest.json | |
{
"update_url": "https:\/\/clients2.google.com\/service\/update2\/crx",
"name": "Wild Spider",
"short_name": "demo web crawler that's still in experimenting",
"description": "web pages are crawled by being loaded into browser using multiple tabs parallelly",
"version": "0.0.3",
"browser_action": {
"default_icon": "icon.png"
},
"permissions": [
"tabs",
"activeTab",
"webNavigation"
],
"background": {
"scripts": [
"Dexie.js",
"eventPage.js"
],
"persistent": false
},
"content_scripts": [
{
"matches": [
"*:\/\/*\/*"
],
"js": [
"htmlparser2.js",
"content.js"
]
}
],
"manifest_version": 2
} | |
