NhacVibe
Ảnh bìa PythonでWebスクレイピング第02回|Pythonでサイトに掲載されている大量のリンク先URLを取得する方法

PythonでWebスクレイピング第02回|Pythonでサイトに掲載されている大量のリンク先URLを取得する方法

キノコード / AI・プログラミング学習チャンネル · 22,7 N lượt xem · 8 thg 3, 2021

Mô tả

━━━━━━━━━━━━━━━━━━━━━━
「独学だと続かない…」そんな悩み、ありませんか?
キノコード監修の学習サービスで、今度こそ習得しよう
━━━━━━━━━━━━━━━━━━━━━━

プログラミング学習サービス「キノクエスト」は、
このチャンネルの動画と連動した問題演習・質問サポートで
「途中で挫折しない」仕組みを徹底しています。

▶︎【個人のお客様】まずは無料で始める
https://kino-code.com/kq_service_a/?u...

【挫折しない3つの理由】
① 動画で学ぶ → 問題を解く → 理解が定着するサイクル
② わからないところは質問OK ─ ひとりで悩まない
③ 初心者から実務レベルまで、ステップバイステップで進める

▼【法人のご担当者様】社員のスキルアップ・DX人材育成をご検討ならこちら
https://kino-code.com/kinoquest-forbi...

▼チャンネル登録はこちら
   / @kinocode  

▼目次
00:00 ダイジェスト
00:57 はじめに
02:54 レッスンの説明
04:48 各ページへのリンクの取得
12:41 移動した下層ページのデータの取得
14:49 エラーの場合の例外処理
17:38 データフレームへの変換とCSV保存
19:35 おまけのNG集

▼関連動画
Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう|Webスクレイピングのやり方をわかりやすく解説
   • Pythonで面倒な「ブラウザ操作」や「データ収集」の作業を自動化しよう|Webスク...  

Python超入門講座
   • 【超入門コース】Python|プログラミング初心者向け講座  

Pandas超入門講座
   • Pandas入門コース|プログラミング初心者向け講座  

▼文字書き起こし
それでは、ライブラリをインポートする記述をします。
bs4のパッケージの中にあるBeautifulSoupを読み込みます。
BeautifulSoupは、複雑なHTMLの構造を解析し、必要な部分を取り出すことができるWebスクレイピング用のライブラリです。
次に、requestsをインポートします。これはPythonを使ってHTTP接続するために必要なライブラリです。
前回のWebスクレピングのレッスンで紹介したPythonの標準のurllibモジュールよりもコード量が少なく記述することができ、シンプルに実装できるライブラリです。
次に、取得したデータをCSVに書き出すために、pandasをインポートします。
asを記述するとライブラリ名を好きな名前で使うことができます。
pandasについては、「Pandas入門講座」にて詳しくご紹介していますので、ご興味があればご覧ください。
また、HTTPに接続した後、すぐに次の処理が実行されないようにするためtimeをインポートします。
timeモジュールを使うことで、Webページのデータを取得する前に次の処理にいかないように、3秒間であったり5秒間、次の処理を待機させることができます。
それでは、実行します。
インポートが完了しました。
では、kinocodeのWebサイトの「Python超入門コース」のコース一覧にあるタイトルとリンク先のURLのデータを取得してみましょう。
また、そのタイトルとリンク先URLをセットにして、CSVにデータを書き込む処理を記述