Wild Spider

web pages are crawled by being loaded into browser using multiple tabs parallelly

¿Qué es Wild Spider?

Wild Spider es una extensión de Chrome desarrollada por Xuan Wu, y su función principal es "web pages are crawled by being loaded into browser using multiple tabs parallelly".

Capturas de Pantalla de la Extensión

screenshot

Descargar Archivo CRX de la Extensión Wild Spider

Descarga archivos de extensión Wild Spider en formato crx, instala manualmente las extensiones de Chrome en el navegador o comparte los archivos crx con amigos para instalar fácilmente las extensiones de Chrome.

Instrucciones de Uso de la Extensión

                        WATCH OUT: more tabs you use, more computer resources (CPU, memory) will be used, and each page costs a bit disk to save the content (in IndexedDb, accessible from extensions -> Inspect views: background page).

The "spider" works in this way:
1) The current url is used as the starting point, and it's loaded again in a new tab.
2) After this page is loaded, fetch all the links on the page.
3) Get all the links on the page, including relative urls.
4) Open the extracted link parallelly in all the tabs used (by default 3, set in eventPage).
5) repeat 2-4

All source code at: https://github.com/nobodxbodon/ChromeCrawlerWildSpider                    

Información Básica de la Extensión

Nombre Wild Spider Wild Spider
ID aanpchnfojihjddlocpgoekffmjkhbbe
URL Oficial https://chromewebstore.google.com/detail/wild-spider/aanpchnfojihjddlocpgoekffmjkhbbe
Descripción web pages are crawled by being loaded into browser using multiple tabs parallelly
Tamaño del Archivo 121 KB
Cantidad de Instalaciones 44
Versión Actual 0.0.3
Última Actualización 2019-03-08
Fecha de Publicación 2019-03-08
Calificación 1.00/5 Total de 1 Calificaciones
Desarrollador Xuan Wu
Tipo de Pago free
Sitio Web de la Extensión https://github.com/nobodxbodon/ChromeCrawlerWildSpider
URL de la Página de Ayuda https://github.com/nobodxbodon/ChromeCrawlerWildSpider/issues
Idiomas Soportados en-US
manifest.json
{
    "update_url": "https:\/\/clients2.google.com\/service\/update2\/crx",
    "name": "Wild Spider",
    "short_name": "demo web crawler that's still in experimenting",
    "description": "web pages are crawled by being loaded into browser using multiple tabs parallelly",
    "version": "0.0.3",
    "browser_action": {
        "default_icon": "icon.png"
    },
    "permissions": [
        "tabs",
        "activeTab",
        "webNavigation"
    ],
    "background": {
        "scripts": [
            "Dexie.js",
            "eventPage.js"
        ],
        "persistent": false
    },
    "content_scripts": [
        {
            "matches": [
                "*:\/\/*\/*"
            ],
            "js": [
                "htmlparser2.js",
                "content.js"
            ]
        }
    ],
    "manifest_version": 2
}