Semalt: Kuinka käyttää Web Scrapper Chrome -laajennusta

Verkon kautta on saatavana valtava määrä tietoa. Yrittäminen kopioida tietoja käytettävään tietokantaan suoraan sivustosta voi olla työvaltainen prosessi. Siksi verkkokaapimismenetelmän avulla tietojen poimiminen verkkosivustoilta voi säästää aikaa, energiaa ja rahaa.

Web-kaavinta, joka tunnetaan myös nimellä Web-tietojen erottaminen tai Web-tiedonkeruu, on prosessi, jossa robotteja käytetään tietojen purkamiseen sivustoilta. Web-kaavinta navigoi sivustossa, arvioi sen sisältöä ja vetää ja sijoittaa sen sitten laskentataulukkoon tai tietokantaan.

Markkinoilla on saatavana runsaasti web-kaavintyökaluja , mutta ne ovat melko kalliita eikä niitä ole helppo käyttää muille kuin tekniikan taitajille. Web Scraper Chrome -laajennus on kuitenkin ilmainen ja helppo käyttää. Tämän laajennuksen avulla voit jopa pysäyttää prosessin keskellä työtä.

Voit ladata Web Scraper Chrome -laajennusohjelmiston Google Chrome Web Storesta. Ainoa haittapuoli on, että sinun täytyy kaadata sivusto manuaalisesti, ja se ei ole helppo prosessi. Et voi myöskään kaavittaa säännöllisin väliajoin ohjelmallisesti.

Web-kaavin Chrome-laajennuksen asennus

• Avaa Google Chrome -selain;
• Käy Chrome Web Storessa ja etsi Web Scraper Extension;
• Lisää työkalu Chromeen;
• Olet nyt valmis aloittamaan verkkosivustojen kaavinta Chrome-selaimella.

Kun kaavin on asennettu, paina F12 avataksesi Google Chromen kehittäjätyökalut. Vaihtoehtoisesti voit napsauttaa hiiren kakkospainikkeella näyttöä ja valita "tarkasta elementti". Kun olet avannut Kehittäjätyökalut, näet välilehden nimeltä "Web Scraper".

Nyt opitaan käyttämään tätä live-verkkosivulla. Kuvittelemme, että haluamme romuttaa Awesomegifs-verkkosivuston ja purkaa siitä sisältöä ja tietoja. Avaa sivusto. Mikä on ensimmäinen asia, jonka näet? Kuvat ladataan laiskasti, eikö niin?

Kun olet avannut verkkosivun, sinun on purettava gif-kuvan URL-osoitteet. Tämä tarkoittaa, että sinun on tunnistettava CSS-valitsin, joka vastaa kuvia. Verkkosivustolla on noin 130 sivua kuvilla; ja vaihtaaksesi sivujen välillä, sinun on vaihdettava nykyisen 125 sivun numero. Helpoin tapa tehdä se on luoda uusi sivukartta ja lisätä Aloita URL-kenttä. Tällä tavalla Web Scraperia pyydetään avaamaan URL jatkuvasti, mikä lisää prosessin lopullista arvoa. Se avaa ensimmäisen sivun, toisen sivun, kolmannen sivun…, kunnes se saavuttaa sivun 125.

Aloita kaavintaprosessi avaamalla sivukartta-välilehti ja napsauttamalla "Kaapia". Työkalu alkaa kaavittaa tarvittavat tiedot. Jos haluat lopettaa kaavintaprosessin keskellä, sulje ikkuna ja siirry sivukartta-välilehteen viedäksesi uutetut tiedot CSV-tiedostoon.