pythonでbeautifulsoup4を使ったスクレイピング環境を作る時のメモ
作業用のメモです。python3を使ってスクレイピングをすることがありますが、新規のサーバの場合には、python3を入れて、pipを入れて、beautifulsoup4を入れて・・・っと手順を踏む面倒です。
方法を忘れがちなのでこちらに手順を残しておきます。
※他の方がWEBに載せている方法と同じだと思います。
目次
## 必要なパッケージをyumでインストール
$ sudo yum install -y git gcc bzip2 bzip2-devel openssl openssl-devel readline readline-devel sqlite-devel
## pyenvをインストール
$ git clone https://github.com/yyuu/pyenv.git ~/.pyenv
### bashrc やprofile あたりに以下を追加
pythonを実行するユーザに追加
$ export PYENV_ROOT=”$HOME/.pyenv”
$ PATH=$PATH:$HOME/bin:$PYENV_ROOT/bin
eval “$(pyenv init -)” ※これがないとバージョン切り替えができなかった。
### python 3.5.1をインストール
$ pyenv install –list で最新バージョンを確認
$ pyenv install 3.5.1
### python 3.5.1に切り替え
$ python –version
$ pyenv global 3.5.1
$ pyenv rehash
$ python –version
## pipのセットアップ
$ cd /opt
$ wget https://pypi.python.org/packages/source/d/distribute/distribute-0.6.49.tar.gz –no-check-certificate
$ tar xzf distribute-0.6.49.tar.gz
$ cd distribute-0.6.49
$ python3 setup.py install
$ cd /usr/lib/python3.3/site-packages/distribute-0.6.49-py3.3.egg
$ python3 ./easy_install.py pip
### 動作チェック
$ pip -V
$ pip 8.1.1 from /usr/lib/python3.3/site-packages/pip-8.1.1-py3.3.egg (python 3.3)
### Upgrade
$ pip install –upgrade pip
## BeautifulSoup4 をインストール
$ pip install beautifulsoup4
これで完了