Wild Spider
web pages are crawled by being loaded into browser using multiple tabs parallelly
Was ist Wild Spider?
Wild Spider ist eine Chrome-Erweiterung, die von Xuan Wu entwickelt wurde, und ihr Hauptmerkmal ist "web pages are crawled by being loaded into browser using multiple tabs parallelly".
Erweiterungsscreenshots
Wild Spider-Erweiterungs-CRX-Datei herunterladen
Laden Sie Wild Spider-Erweiterungsdateien im crx-Format herunter, installieren Sie Chrome-Erweiterungen manuell im Browser oder teilen Sie die crx-Dateien mit Freunden, um Chrome-Erweiterungen einfach zu installieren.
Anleitung zur Verwendung der Erweiterung
WATCH OUT: more tabs you use, more computer resources (CPU, memory) will be used, and each page costs a bit disk to save the content (in IndexedDb, accessible from extensions -> Inspect views: background page).
The "spider" works in this way:
1) The current url is used as the starting point, and it's loaded again in a new tab.
2) After this page is loaded, fetch all the links on the page.
3) Get all the links on the page, including relative urls.
4) Open the extracted link parallelly in all the tabs used (by default 3, set in eventPage).
5) repeat 2-4
All source code at: https://github.com/nobodxbodon/ChromeCrawlerWildSpider Grundlegende Informationen zur Erweiterung
| Name |  Wild Spider |
| ID | aanpchnfojihjddlocpgoekffmjkhbbe |
| Offizielle URL | https://chromewebstore.google.com/detail/wild-spider/aanpchnfojihjddlocpgoekffmjkhbbe |
| Beschreibung | web pages are crawled by being loaded into browser using multiple tabs parallelly |
| Dateigröße | 121 KB |
| Installationsanzahl | 44 |
| Aktuelle Version | 0.0.3 |
| Letztes Update | 2019-03-08 |
| Veröffentlichungsdatum | 2019-03-08 |
| Bewertung | 1.00/5 Insgesamt 1 Bewertungen |
| Entwickler | Xuan Wu |
| Zahlungsart | free |
| Erweiterungswebsite | https://github.com/nobodxbodon/ChromeCrawlerWildSpider |
| Hilfeseite URL | https://github.com/nobodxbodon/ChromeCrawlerWildSpider/issues |
| Unterstützte Sprachen | en-US |
| manifest.json | |
{
"update_url": "https:\/\/clients2.google.com\/service\/update2\/crx",
"name": "Wild Spider",
"short_name": "demo web crawler that's still in experimenting",
"description": "web pages are crawled by being loaded into browser using multiple tabs parallelly",
"version": "0.0.3",
"browser_action": {
"default_icon": "icon.png"
},
"permissions": [
"tabs",
"activeTab",
"webNavigation"
],
"background": {
"scripts": [
"Dexie.js",
"eventPage.js"
],
"persistent": false
},
"content_scripts": [
{
"matches": [
"*:\/\/*\/*"
],
"js": [
"htmlparser2.js",
"content.js"
]
}
],
"manifest_version": 2
} | |
