在本章中,我们将讨论如何安装和设置Scrapy。Scrapy必须与Python一起安装。
Scrapy可以通过使用 pip 来安装。要安装,请运行以下命令 -
pip install Scrapy
注意 - Windows 3不支持Python 3。
第1步 - 从 Python安装Python 2.7通过将以下路径添加到PATH来设置环境变量 -
C:\Python27\;C:\Python27\Scripts\;
您可以使用以下命令检查Python版本 -
python --version
第2步 - 安装 OpenSSL。
在您的环境变量中添加C:\OpenSSL-Win32\bin
。
注 - OpenSSL预装在Windows以外的所有操作系统中。
第3步 - 安装 Visual C ++ 2008许可再发行组件。
第4步 - 安装 pywin32。
第5步 -为Python版本2.7.9以前的版本安装pip。
您可以使用以下命令检查pip版本 -
pip --version
第6步 - 要安装scrapy,请运行以下命令 -
pip install Scrapy
如果您的计算机上安装了anaconda或miniconda,请运行以下命令以使用conda安装Scrapy
conda install -c scrapinghub scrapy
Scrapinghub公司支持适用于Linux,Windows和OS X的官方conda软件包。
注 - 如果您通过pip安装时遇到问题,建议使用上述命令安装Scrapy。
最新版本的Python已预先安装在Ubuntu OS上。使用Scrapinghub提供的Ubuntu软件包aptgettable。要使用包 -
第1步 - 您需要将用于签署Scrapy软件包的GPG密钥导入APT密钥环 -
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
第2步 - 接下来,使用以下命令创建/etc/apt/sources.list.d/scrapy.list文件 -
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
第3步 - 更新软件包列表并安装scrapy -
sudo apt-get update && sudo apt-get install scrapy
您可以使用以下命令从AUR Scrapy软件包安装Scrapy -
yaourt -S scrapy
使用以下命令安装Xcode命令行工具 -
xcode-select --install
不要使用系统Python,而应安装与系统其余部分不冲突的新更新版本。
第1步 - 安装 自制软件。
第2步 - 设置环境PATH变量以指定应该在系统包之前使用自制软件包 -
echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
第3步 - 要确保更改完成,请 使用以下命令重新加载 .bashrc -
source ~/.bashrc
第4步 - 接下来,使用以下命令安装Python -
brew install python
第5步 - 使用以下命令安装Scrapy -
pip install Scrapy