
PythonでWebスクレイピング第05回|Pythonで検索順位を自動保存(SEOのデータ分析に使える)
キノコード / AI・プログラミング学習チャンネル · 5,6 N lượt xem · 1 thg 8, 2021
Mô tả
━━━━━━━━━━━━━━━━━━━━━━
「独学だと続かない…」そんな悩み、ありませんか?
キノコード監修の学習サービスで、今度こそ習得しよう
━━━━━━━━━━━━━━━━━━━━━━
プログラミング学習サービス「キノクエスト」は、
このチャンネルの動画と連動した問題演習・質問サポートで
「途中で挫折しない」仕組みを徹底しています。
▶︎【個人のお客様】まずは無料で始める
https://kino-code.com/kq_service_a/?u...
【挫折しない3つの理由】
① 動画で学ぶ → 問題を解く → 理解が定着するサイクル
② わからないところは質問OK ─ ひとりで悩まない
③ 初心者から実務レベルまで、ステップバイステップで進める
▼【法人のご担当者様】社員のスキルアップ・DX人材育成をご検討ならこちら
https://kino-code.com/kinoquest-forbi...
▼チャンネル登録はこちら
/ @kinocode
▼目次
00:00 ダイジェスト
00:11 はじめに
02:05 ライブラリのインポート
02:51 複数キーワードでWebサイトを検索して検索結果のURLを取得
04:29 データ取得日時を追加
05:32 キーワードごとにページのタイトルなどのデータを取得
08:45 取得したデータをデータフレームに変換
09:59 キーワードごとにCSVファイルに書き出し
11:56 おわりに
▼書き起こしブログ
https://kino-code.com/python_automati...
▼書き起こし
```python
from bs4 import BeautifulSoup
import requests
import pandas as pd
import time
```
では、ライブラリをインポートします。
bs4のパッケージの中にあるBeautifulSoupを読み込みます。
BeautifulSoupは、複雑なHTMLの構造を解析し、必要な部分を取り出すことができるライブラリです。
HTTP接続するために、requestsをインポートします。
requestsはPythonの標準のurllibモジュールよりもシンプルに実装でき、APIに関する機能も備わっています。
さらに、HTTPに接続した後、すぐに次の処理が実行されないようにするためtimeをインポートします。
実行します。
インポートが完了しました。
```python
keyword_list = ['python', 'ruby', 'javascript', 'c', 'java', 'go', 'kotlin']
```
続いてkeyword_listという変数に、検索するキーワードを代入します。
今回は’python’,'ruby','javascript','c','java','go','kotlin'の7つの言語を検索します。
各言語をカンマ区切りのリストとして変数に代入しましょう。
実行します。
keyword_listに検索するキーワードのリストが格納されました。
▼自己紹介
ブログに自己紹介を書いております。
https://kino-code.com/profile/
▼SNS
Twitter : / likes
Facebook : / キノコード -105693727500005/
Websit