Scrapy Giris Kurulum

Merhaba arkadaşlar. Bu yazımızda Scrapy'ye giriş yapıp kurulum yapacağız.

Scrapy Nedir?

scrapy.org'da belirtildiği üzere ihtiyacınız olan verilerin websitelerinden çıkarılması(çekilmesi) için geliştirilmiş açık kaynaklı bir framework'tür. Hızlı, basit ve genişletilebilir bir şekilde.

Kurulum

İşletim sistemi olarak Linux Mint kullanıyorum. Dolayısı ile bunun üzerinden gideceğim. scrapy.org'da kurulum yöntemleri var. Ben basit olarak "pip" ile terminalden kurulumu yaptım. Eğer bilgisayarınızda (benim gibi) "pip" yoksa bunu da kurmanız gerekiyor. Terminalden:

$ sudo apt-get install python-pip

yazarak 'pip' programını kurabilirsiniz. Ayrıca python3 için:

$ wget https://bootstrap.pypa.io/get-pip.py
$ sudo python3 get-pip.py

yazarak kurabilirsiniz. 'pip' kurduktan sonra Scrapy'yi kurmak için terminalden aşağıdaki komutu verip kurabilirsiniz.

$ pip install Scrapy

Proje başlatmak için aşağıdaki komutu yazıyoruz

 $ scrapy startproject benim_projem 

benim_projem/
├── benim_projem #projenin Python modülü , kodlarınızı buradan import edeceksiniz 
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py 
│   └── spiders  # siteler için yazacağınız örümcekleri bu klasöre yazacaksınız
│       └── __init__.py
└── scrapy.cfg   #konfigurasyon dosyası