【コード公開】【初心者のPython入門】Webスクレイピングとクローリング

Tweet

プログラム概要

各SNSにおけるAPIの利用

最近では、SNSからのデータ抽出も頻繁に利用されているため、サイト内を巡回するクローリングプログラムの他に、APIを利用したプログラムも人気があります。

これは一長一短ではありますが、SNSからのデータ抽出を考えている場合、クローリングシステムによる制限とAPIによる制限が異なるため、どちらを利用することが最適なのか理解しておく必要があります。

ただ、単純に多くの情報を抜き取りたい場合やAPIの使用制限内で必要な情報を取得できる場合は、APIによるプログラムを構築した方が比較的簡単にプログラム自体も時間的コストも抑えられます。

あなたがどのようなプログラム設計を行うかによって、選択するものを変換すると良いでしょう。

本記事では、簡単なクローリングプログラムを記載していますが、興味があれば別記事でAPIを利用したプログラムも記載していますのでよければ一読してみてください。

必要なモジュールのインストール

# モジュールのインポート
import urllib.request as req
from bs4 import BeautifulSoup
import time

特定のURLからデータを取得

# 任意のURLからデータを取得
url = "https://su-gi-rx.com/"
res = req.urlopen(url)

特定URL内にあるリンク抽出

"""
特定URL内にあるリンクを抽出
抽出データのHTML解析を行い、リンクをリスト化
"""
soup = BeautifulSoup(res, 'html.parser')
links = soup.select("a[href]")
result = []
for a in links:
	href = a.attrs["href"]
	title = a.string
	result.append((title, href))

テキストデータ抽出 -> 各ファイル保存

"""
リンク先の<p>タグ内のテキストを抽出
抽出データを記事タイトルごとにtxtファイルに書き込み作成
"""
for title, url in result:
	print("link = " + url)
	time.sleep(1)
	res_1 = req.urlopen(url)
	soup_1 = BeautifulSoup(res_1, 'html.parser')
	p_list = soup_1.find_all("p")
	for p in p_list:
		print(p.get_text())
		with open("{}.txt".format(title), mode="a") as f:
			f.write(p.get_text())

# crawl.py

# モジュールのインポート
import urllib.request as req
from bs4 import BeautifulSoup
import time

# 任意のURLからデータを取得
url = "xxxx"
res = req.urlopen(url)

"""
特定URL内にあるリンクを抽出
抽出データのHTML解析を行い、リンクをリスト化
"""
soup = BeautifulSoup(res, 'html.parser')
links = soup.select("a[href]")
result = []
for a in links:
	href = a.attrs["href"]
	title = a.string
	result.append((title, href))

"""
リンク先の<p>タグ内のテキストを抽出
抽出データを記事タイトルごとにtxtファイルに書き込み作成
"""
for title, url in result:
	print("link = " + url)
	time.sleep(1)
	res_1 = req.urlopen(url)
	soup_1 = BeautifulSoup(res_1, 'html.parser')
	p_list = soup_1.find_all("p")
	for p in p_list:
		print(p.get_text())
		with open("{}.txt".format(title), mode="a") as f:
			f.write(p.get_text())