[Python]BeautifulSoupを用いてHTMLを取得するサンプルプログラム

BeautifulSoup

今回は、BeautifulSoupを用いて他のサイトのHTMLを取得するためのサンプルプログラムを作成したので紹介したいと思います！

コードは下記のようになります！

import requests
from bs4 import BeautifulSoup

url = 'https://www.yahoo.co.jp/'
html = requests.get(url)

soup = BeautifulSoup(html.text, 'lxml')

print(soup)

実行結果(2019/11/28現在)

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta content="text/html; charset=utf-8" http-equiv="content-type"/>
<meta content="text/css" http-equiv="content-style-type"/>
<meta content="text/javascript" http-equiv="content-script-type"/>
<meta content="日本最大級のポータルサイト。検索、オークション、ニュース、メール、コミュニティ、ショッピング、など80以上 のサービスを展開。あなたの生活をより豊かにする「ライフ・エンジン」を目指していきます。" name="description"/>
<meta content="noodp" name="robots"/>
<meta content="fsLMOiigp5fIpCDMEVodQnQC7jIY1K3UXW5QkQcBmVs" name="google-site-verification"/>
<link href="https://www.yahoo.co.jp/" rel="canonical"/>
<link href="https://m.yahoo.co.jp/" media="only screen and (max-width: 640px)" rel="alternate"/>
<link href="android-app://jp.co.yahoo.android.yjtop/yahoojapan/home/top" rel="alternate"/>
<title>Yahoo! JAPAN</title>
<style type="text/css"><!--
body{word-break:break-all;font:12px/1.22 "Osaka","ＭＳ Ｐゴシック",Arial,sans-serif;*font-size:small;*font:x-small;}
table{font-size:inherit;font:100%;}
pre,code,kbd,samp,tt{font-family:monospace;*font-size:108%;line-height:99%;}
h1,h2,h3,h4,h5{font-size:100%;}
#p{width:350px;}
a{color:#1d3994;text-decoration:none;}
a:visited{color:#941d55;}
a:hover{text-decoration:underline;}
--></style>
<style media="all" type="text/css"><!--
form{margin:0;}
#p{border:1px solid #7e9db9;}

.Util-textCenter{text-align:center}.Util-margin0{margin:0 !important}.Util-marginT0{margin-top:0 !important;}.Alert{position:relative;margin:5px 20px 15px;padding:10px;border:1px solid #ffcf16;background-color:#fefac4}.Alert__title{margin-bottom:10px;font-weight:700;font-size:109%}.Alert__body{line-height:1.5}.Alert__logImage{position:absolute;top:0;left:0}.Button{position:relative;display:inline-block;*display:inline;*zoom:1;box-sizing:border-box;margin:0 auto;padding:6px 1em;border-top:1px solid #979797;border-right:1px solid #979797;border-bottom:1px solid #696969;border-left:1px solid #979797;background:#fff;text-align:center;font-size:109%}.Button:hover{border-top:1px solid #5e5e5e;border-right:1px solid #5e5e5e;border-bottom:1px solid #393939;border-left:1px solid #5e5e5e;text-decoration:none}.Button:after{position:absolute;bottom:0;left:0;display:block;width:100%;height:1px;background:#ddd;content:""}

--></style>
</head>
<body leftmargin="0" link="#1d3994" marginheight="0" marginwidth="1" topmargin="0" vlink="#941d55">
<center>
<table border="0" cellpadding="0" cellspacing="0" width="770"><tr><td align="center">
<table bgcolor="#c8d4e4" border="0" cellpadding="1" cellspacing="0" width="100%">
<tr>
<td><table bgcolor="#f9fafe" border="0" cellpadding="1" cellspacing="0" width="100%">
<tr>
<td align="right" width="10%"><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
<td align="center" width="80%"></td>
<td align="right" width="10%"><a href="https://www.yahoo-help.jp/"><nobr>ヘルプ</nobr></a></td>
</tr>
</table></td>
</tr>
</table>
<img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/><br/>
<table border="0" cellpadding="0" cellspacing="0">
<tr>
<td><img alt="" border="0" height="59" src="//s.yimg.jp/images/top/sp/cgrade/logo-mh-160929.gif" usemap="#Map" width="734"/>
<map name="Map">
<area alt="トラベル" coords="0,1,45,58" href="https://travel.yahoo.co.jp/?sc_e=ytmh" shape="rect"/>
<area alt="ヤフオク!" coords="81,1,124,58" href="https://auctions.yahoo.co.jp/" shape="rect"/>
<area alt="ショッピング" coords="159,1,204,58" href="https://shopping.yahoo.co.jp/" shape="rect"/>
<area alt="Yahoo! JAPAN" coords="256,-1,479,59" href="https://www.yahoo.co.jp/" shape="rect"/>
<area alt="プレミアム" coords="530,1,576,57" href="https://premium.yahoo.co.jp/" shape="rect"/>
<area alt="カード" coords="605,1,658,57" href="https://card.yahoo.co.jp/service/redirect/top/" shape="rect"/>
<area alt="メール" coords="687,1,733,57" href="https://mail.yahoo.co.jp/" shape="rect"/>
</map></td>
</tr>
</table>
<img alt="" height="5" src="//s.yimg.jp/images/clear.gif" width="1"/><br/>
<!-- SpaceID=0 robot -->
<!-- SpaceID=0 robot -->
<!-- SpaceID=0 robot -->
<img alt="" height="5" src="//s.yimg.jp/images/clear.gif" width="1"/><br/>
<table bgcolor="#9fb6d5" border="0" cellpadding="1" cellspacing="0" width="100%">
<tr>
<td><table bgcolor="#e9eef4" border="0" cellpadding="0" cellspacing="0" width="100%">
<tr>
<td><table border="0" cellpadding="10" cellspacing="0" width="100%">
<tr>
<td align="center"><form action="https://search.yahoo.co.jp/search" name="sf1">
<input name="fr" type="hidden" value="top_table"/>
<input name="tid" type="hidden" value="top_table"/>
<input name="ei" type="hidden" value="UTF-8"/>
<table border="0" cellpadding="0" cellspacing="0">
<tr>
<td><table border="0" cellpadding="0" cellspacing="0">
<tr>
<td height="15"><input id="p" name="p" size="20" type="text"/></td>
<td><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="5"/>
<input alt="ウェブ検索" border="0" name="search" src="//s.yimg.jp/images/top/searchbox/s_w-140325.gif" title="ウェブ検索" type="image"/></td>
</tr>
</table></td>
</tr>
</table>
</form></td>
</tr>
</table></td>
</tr>
</table></td>
</tr>
</table>
<img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/>
<table bgcolor="#ffcc01" border="0" cellpadding="1" cellspacing="0" width="100%">
<tr>
<td><table bgcolor="#fefbc4" border="0" cellpadding="0" cellspacing="0" width="100%">
<tr><td align="center"><img alt="" height="15" src="//s.yimg.jp/images/clear.gif" width="1"/></td></tr>
<tr><td align="center">
<nobr>Yahoo! JAPANトップページの機能を正しくご利用いただくには、下記の環境が必要です。</nobr><br/>
Windows：Internet Explorer 11.0以上 / Chrome 最新版 / Firefox 最新版 / Microsoft Edge　Macintosh：Safari 9.0以上<img alt="" height="15" src="//s.yimg.jp/images/clear.gif" width="1"/><br/>
※Internet Explorer 11.0以上をご利用の場合は、「<a href="https://www.yahoo-help.jp/app/answers/detail/p/533/a_id/43883">Internet Explorerの互換表示について</a>」を参考に、互換表示の無効化をお試しください。<img alt="" height="15" src="//s.yimg.jp/images/clear.gif" width="1"/><br/><img alt="" height="15" src="//s.yimg.jp/images/clear.gif" width="1"/>
</td>
</tr>
</table></td>
</tr>
</table>
<img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/><br/>
<a href="https://topics.shopping.yahoo.co.jp/special/gotouchi_mall/fukushima/">福島の味が集合、お米やお肉をクーポンでお 得に</a> - <a href="https://gyao.yahoo.co.jp/special/produce101/?source=ytop">PRODUCE 101 JAPAN　本編配信＆投票受付中</a><br/>
<img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/>
<table cellpadding="0" cellspacing="0" width="100%">
<tr>
<td align="left" valign="top">
<table bgcolor="#d7e0ff" border="0" cellpadding="0" cellspacing="0" width="100%"><tr><td><img alt="" height="4" src="//s.yimg.jp/images/clear.gif" width="1"/><br/><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="10"/><strong>ニュース</strong><br/><img alt="" height="4" src="//s.yimg.jp/images/clear.gif" width="1"/><br/></td></tr><tr><td bgcolor="#9fb6d5"><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="1"/></td></tr></table><table cellpadding="0" cellspacing="10" width="100%"><tr><td><table border="0" cellpadding="0" cellspacing="4" width="100%"><tr><td><font color="#666666" size="-3">22時33分更新</font></td></tr><tr><td>・<a href="https://news.yahoo.co.jp/pickup/6343823">弾道ミ サイル2発 防衛相発表</a></td></tr><tr><td>・<a href="https://news.yahoo.co.jp/pickup/6343825">桜を見る会 野党は審議拒否 へ<img alt="写真" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconPhoto_150713.gif" width="16"/><img alt="NEW" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconNew_150713.gif" width="30"/></a></td></tr><tr><td>・<a href="https://news.yahoo.co.jp/pickup/6343818">還元 追加歳出1500億円前後か<img alt="写真" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconPhoto_150713.gif" width="16"/></a></td></tr><tr><td>・<a href="https://news.yahoo.co.jp/pickup/6343828">小籔起用に4070万円 どよめき<img alt="写真" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconPhoto_150713.gif" width="16"/><img alt="NEW" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconNew_150713.gif" width="30"/></a></td></tr><tr><td>・<a href="https://news.yahoo.co.jp/pickup/6343822">サル由来ウイ ルス 従業員感染<img alt="動画" border="0" height="11" src="//s.yimg.jp/images/top/sp/cgrade/iconVideo_150713.gif" width="16"/></a></td></tr><tr><td>・<a href="https://news.yahoo.co.jp/pickup/6343803">スナック菓子のBBQ味 何味?<img alt="写真" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconPhoto_150713.gif" width="16"/><img alt="NEW" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconNew_150713.gif" width="30"/></a></td></tr><tr><td>・<a href="https://news.yahoo.co.jp/pickup/6343824">J2長崎 新社長は高田明氏の娘<img alt="写真" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconPhoto_150713.gif" width="16"/><img alt="NEW" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconNew_150713.gif" width="30"/></a></td></tr><tr><td>・<a href="https://news.yahoo.co.jp/pickup/6343817">ラブリ 映像作家との結婚発表<img alt="写真" border="0" height="12" src="//s.yimg.jp/images/top/sp/cgrade/iconPhoto_150713.gif" width="16"/></a></td></tr><tr><td><img alt="" height="20" src="//s.yimg.jp/images/clear.gif" width="10"/><a href="https://news.yahoo.co.jp/topics/top-picks?date=20191128&amp;mc=f&amp;mp=f">もっと見る</a><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="40"/><a href="https://news.yahoo.co.jp/fc">記事一覧</a></td></tr></table></td><td bgcolor="#e9eef4" valign="top" width="140"><table cellpadding="10" cellspacing="0" width="100%%"><tr><td><center><a href="https://headlines.yahoo.co.jp/hl?a=20191128-00010019-nishinpc-soci.view-000"><img alt="夜の城跡彩る" border="0" height="80" src="https://lpt.c.yimg.jp/im_siggZavi3nfWKYdY0YycAbGAZw---x300-y300/amd/20191128-00010019-nishinpc-000-view.jpg" width="120"/></a></center><a href="https://headlines.yahoo.co.jp/hl?a=20191128-00010019-nishinpc-soci.view-000">夜の城跡彩る</a><br/><font color="#666666" size="-3">11月28日20時10分配信<br/>西日本新聞</font></td></tr></table></td></tr></table><img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/>
<table bgcolor="#a0b7d6" border="0" cellpadding="1" cellspacing="0" width="100%">
<tbody><tr>
<td><table bgcolor="#e9eef4" border="0" cellpadding="4" cellspacing="0" width="100%">
<tbody><tr>
<td><table cellpadding="2" cellspacing="0" width="100%">
<tbody><tr>
<td valign="top" width="33%"><a href="https://shopping.yahoo.co.jp/?sc_e=ytc">ショッピング</a></td>
<td valign="top" width="33%"><a href="https://auctions.yahoo.co.jp">ヤフオク!</a></td>
<td valign="top" width="33%"><a href="https://lohaco.jp/?bk=t&amp;sc_e=j_as_ya_tc_n&amp;iscr=1">LOHACO</a></td>
</tr>
<tr>
<td valign="top"><a href="https://travel.yahoo.co.jp/?sc_e=ytsl">トラベル</a></td>
<td valign="top"><a href="https://rdsig.yahoo.co.jp/travel_kanko/yjtop_cont/RV=1/RU=aHR0cHM6Ly93d3cuaWt5dS5jb20vaWtDby5hc2h4P2Nvc2lkPWlrMDEwMDAyJnN1cmw9JTJG">一休.com</a></td>
<td valign="top"><a href="https://rdsig.yahoo.co.jp/reservation/yjtop_cont/RV=1/RU=aHR0cHM6Ly9yZXN0YXVyYW50LmlreXUuY29tL3JzQ29zaXRlLmFzcD9Db3NObz0xMDAwMDE3NSZDb3NVcmw9">一休.comレストラン</a></td>
</tr>
<tr>
<td valign="top"><a href="https://news.yahoo.co.jp/">ニュース</a></td>
<td valign="top"><a href="https://weather.yahoo.co.jp/weather/">天気・災害</a></td>
<td valign="top"><a href="https://sports.yahoo.co.jp/">スポーツナビ</a></td>
</tr>
<tr>
<td valign="top"><a href="https://finance.yahoo.co.jp/">ファイナンス</a></td>
<td valign="top"><a href="https://tv.yahoo.co.jp/">テレビ</a></td>
<td valign="top"><a href="https://gyao.yahoo.co.jp/">GYAO!</a></td>
</tr>
<tr>
<td valign="top"><a href="https://games.yahoo.co.jp/">ゲーム</a></td>
<td valign="top"><a href="http://yahoo-mbga.jp/?_ref=aff%3Dysm001">Yahoo!モバゲー</a></td>
<td valign="top"><a href="https://map.yahoo.co.jp/">地図</a></td>
</tr>
<tr>
<td valign="top"><a href="https://transit.yahoo.co.jp/">路線情報</a></td>
<td valign="top"><a href="https://retty.me/?utm_y_pc_top">Retty</a></td>
<td valign="top"><a href="https://realestate.yahoo.co.jp/">不動産</a></td>
</tr>
<tr>
<td valign="top"><a href="https://carview.yahoo.co.jp/">自動車</a></td>
<td valign="top"><a href="https://trilltrill.jp/">TRILL</a></td>
<td valign="top"><a href="https://rdsig.yahoo.co.jp/partner/from_ytop/pc/list1/RV=1/RU=aHR0cHM6Ly9wYXJ0bmVyLnlhaG9vLmNvLmpwLw--">パートナー</a></td>
</tr>
<tr>
<td align="right" colspan="4"><strong><a href="https://services.yahoo.co.jp/?mode=pc">&gt;&gt;サービス一覧</a></strong></td>
</tr>
</tbody></table></td>
</tr>
</tbody></table></td>
</tr>
</tbody></table>
</td>
<td width="10"> </td>
<td align="left" valign="top" width="350">
<table bgcolor="#9fb6d5" border="0" cellpadding="1" cellspacing="0" width="100%">
<tbody><tr>
<td><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tbody><tr>
<td><table border="0" cellpadding="0" cellspacing="0" width="100%">
<tbody><tr>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif" width="10"><img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif" width="330"><img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif" width="10"><img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
</tr>
<tr>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif" width="10"> </td>
<td width="330"><table bgcolor="#ffffff" border="0" cellpadding="2" cellspacing="0" width="100%">
<tbody>
<tr>
<td colspan="2"><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="7"/><a href="https://login.yahoo.co.jp/config/login?.src=www&amp;.done=https://www.yahoo.co.jp">ログイン</a></td>
</tr>
<tr>
<td><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="7"/>IDでもっと便利に[ <a href="https://account.edit.yahoo.co.jp/registration?.src=www&amp;.done=https%3A%2f%2fwww.yahoo.co.jp">新規取得</a> ]</td>
<td align="right"><a href="https://accounts.yahoo.co.jp/profile?.src=www&amp;.done=https%3A%2f%2fwww.yahoo.co.jp%2F"><img alt="登録情報" border="0" height="16" src="//s.yimg.jp/images/top/sp/cgrade/info_btn-140325.gif" width="47"/></a><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="7"/></td>
</tr>
<tr>
<td colspan="2"><img alt="" height="5" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
</tr>
<tr>
<td><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="7"/><strong><a href="https://mail.yahoo.co.jp/"><img align="absmiddle" alt="Yahoo!メール" border="0" height="16" src="//s.yimg.jp/images/top/sp/cgrade/iconMail.gif" width="16"/>メール</a></strong> - <strong><a href="https://mail.yahoo.co.jp/promo/">メールアドレスを取得</a></strong></td>
</tr>
<tr>
<td colspan="2"><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="7"/><strong><a href="https://calendar.yahoo.co.jp/">カレンダー</a></strong> - <strong><a href="https://calendar.yahoo.co.jp/info/guide/">カレンダーを活用</a></strong></td>
</tr>
</tbody></table></td>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif" width="10"> </td>
</tr>
<tr>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif" width="10"><img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif" width="330"><img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif" width="10"><img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
</tr>
</tbody></table></td>
</tr>
<tr>
<td bgcolor="#ffffff"><img alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="1"/></td>
</tr>
<tr>
<td><table border="0" cellpadding="5" cellspacing="0" width="100%">
<tbody><tr>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif"><img align="top" alt="ポイントを確認" height="16" src="//s.yimg.jp/images/top/sp/cgrade/icon_point.gif" width="25"/><a href="https://points.yahoo.co.jp/" title="ポイントを確認">ポ イントを確認</a></td>
</tr>
<tr>
<td background="//s.yimg.jp/images/top/sp/cgrade/pb_bg.gif"><img align="top" alt="" height="1" src="//s.yimg.jp/images/clear.gif" width="5"/><a href="https://lh.login.yahoo.co.jp/" title="ログイン履歴を確認">ログイン履歴を確認</a></td>
</tr>
</tbody></table></td>
</tr>
</tbody></table></td>
</tr>
</tbody></table>
<img alt="" height="10" src="//s.yimg.jp/images/clear.gif" width="1"/>
</td>
</tr>
</table>
<hr color="#cccccc" size="1" width="100%"/>
<table border="0" cellpadding="4" cellspacing="0" width="100%">
<tr>
<td align="center"><nobr><a href="https://about.yahoo.co.jp/">会社概要</a> - <a href="https://about.yahoo.co.jp/ir/">投 資家情報</a> - <a href="https://about.yahoo.co.jp/csr/">社会的責任</a> - <a href="https://about.yahoo.co.jp/info/charter/">企業行動憲章</a> - <a href="https://marketing.yahoo.co.jp/">広告掲載について</a> - <a href="https://about.yahoo.co.jp/hr/">採用情報</a></nobr></td>
</tr>
<tr>
<td align="center"><a href="https://about.yahoo.co.jp/docs/info/terms/">利用規約</a> - <a href="https://about.yahoo.co.jp/docs/pr/disclaimer.html">免責事項</a> - <a href="https://about.yahoo.co.jp/info/mediastatement/">メディアステートメン ト</a> - <a href="https://privacy.yahoo.co.jp/">プライバシー</a></td>
</tr>
<tr>
<td align="center">Copyright (C) 2019 Yahoo Japan Corporation. All Rights Reserved.</td>
</tr>
</table>
</td>
</tr>
</table>
</center>
</body>
</html>

関連投稿