Scrapy ile Sürekli Sayfa Kaydırma (infinite scrolling)

Bu yazımızda web sayfalarında aşağı indikçe yeni verilerin görüntülendiği durumu inceleyeceğiz. Bunun en yaygın örnekleri twitter, facebook gibi web siteleridir. Scrolling yani sayfayı kaydırdığınızda yeni paylaşımlar görürsünüz. 
Ekran görüntümüze bakalım:
Sağ tıklayıp öğeyi incele(inspect) dediğimizde , Network kısmına tıklayıp sayfamızı(quotes'ları) kaydırdığımızda "quotes?page=2, quotes?page=3..." göreceksiniz. Üzerine tıklayınca da URL, Status code vs. bilgiler görüntülenecek. Bize şimdilik URL lazım. URL'miz : http://quotes.toscrape.com/api/quotes?page={sayfa_numarasi}



Kodlarımızı görelim (Yorum satırlarını okuyun lütfen):

Scrapy shell'de sayfa no=1 için yani URL'miz http://quotes.toscrape.com/api/quotes?page=1 için çalışma yaptım.



Yorumlar