
PythonでWebスクレイピング第03回|Pythonでキーワード検索した結果ページのデータ取得する方法
キノコード / AI・プログラミング学習チャンネル · 22,7 N lượt xem · 13 thg 3, 2021
Mô tả
━━━━━━━━━━━━━━━━━━━━━━
「独学だと続かない…」そんな悩み、ありませんか?
キノコード監修の学習サービスで、今度こそ習得しよう
━━━━━━━━━━━━━━━━━━━━━━
プログラミング学習サービス「キノクエスト」は、
このチャンネルの動画と連動した問題演習・質問サポートで
「途中で挫折しない」仕組みを徹底しています。
▶︎【個人のお客様】まずは無料で始める
https://kino-code.com/kq_service_a/?u...
【挫折しない3つの理由】
① 動画で学ぶ → 問題を解く → 理解が定着するサイクル
② わからないところは質問OK ─ ひとりで悩まない
③ 初心者から実務レベルまで、ステップバイステップで進める
▼【法人のご担当者様】社員のスキルアップ・DX人材育成をご検討ならこちら
https://kino-code.com/kinoquest-forbi...
▼チャンネル登録はこちら
/ @kinocode
▼目次
00:00 ダイジェスト
00:25 はじめに
02:02 キーワード検索URLの作成
05:14 検索結果のHTML構造の確認
08:49 検索結果が複数ページの場合のURLの作成
10:12 検索結果が1ページの場合のURL作成と条件分岐
11:42 検索結果の情報の取得
14:09 取得したデータをデータフレームに変換
14:53 CSVファイルへの書き出し
15:30 おわりに
▼関連動画
<Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう|Webスクレイピングのやり方をわかりやすく解説>
• Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう|Webスク...
<PythonでWebスクレイピング|複数ページに記載があるリンク先URLを取得する方法をわかりやすく解説>
• PythonでWebスクレイピング第02回|Pythonでサイトに掲載されている大量...
<Python超入門講座>
• 【超入門コース】Python|プログラミング初心者向け講座
<Pandas超入門講座>
• Pandas入門コース|プログラミング初心者向け講座
▼自己紹介
現在:フリーランス
前職:リクルート
▼SNS
Twitter : / likes
Facebook : / %e3%82%ad%e3%83%8e%e3%82%b3%e3%83%bc%e3%83...
Website : https://kino-code.com/
▼書き起こし
```python
from bs4 import BeautifulSoup
import requests
import pandas as pd
import time
```
では、ライブラリをインポートしていきます。
bs4のパッケージの中にあるBeautifulSoupを読み込みます。
BeautifulSoupは、複雑なHTMLの構造を解析し、必要な部分を取り出すことができるライブラリです。
HTTP接続するために、requestsをインポートします。
requestsはPythonの標準のurllibモジュールよりもシンプルに実装でき、APIに関する機能も備わっています。
取得したデータをCSVに書き出すために、pandasをインポートします。
asを記述するとライブラリ名を好