Bu yazımızda sayfalanmış web sitelerinden bir sonraki sayfadaki verileri de almayı öğreneceğiz. Web sitelerinde "sonraki, next , [2][3].. gibi" sayfalanmış dataları çekmeyi öğreneceğiz. Ekran görüntüsüne bakalım:
Gördüğünüz gibi next öğesini incele dediğimizde <li > tagının altında "next" class'ında duruyor.
Kodlarımız (Yorum satırlarını okuyalım lütfen) :
Terminal çıktısını görelim.
Gördüğünüz gibi 100 tane quotes aldı. 10 defa GET Request'i yaptı. Terminale:
$ scrapy runspider pagination.py -o pagination.json
yazınca json dosyamda bütün quotes'ları görebiliyorum.
Yorumlar