使用 Beautiful Soup 在 Python 中进行网页抓取和解析 HTML

wufei123 2025-01-26 阅读:119 评论:0

利用python和beautiful soup从网络抓取midi数据，训练magenta神经网络生成经典任天堂风格音乐。本文将引导您完成整个过程，从环境搭建到数据下载，并提供代码示例。准备工作与依赖安装首先，确保已安装Python 3和...

利用python和beautiful soup从网络抓取midi数据，训练magenta神经网络生成经典任天堂风格音乐。本文将引导您完成整个过程，从环境搭建到数据下载，并提供代码示例。

准备工作与依赖安装

首先，确保已安装Python 3和pip。建议创建一个虚拟环境，以避免包冲突。激活虚拟环境后，运行以下命令安装必要的库：

PHP

pip install requests==2.22.0 beautifulsoup4==4.8.1

我们使用Beautiful Soup 4，因为它比已不再维护的版本3更稳定。

使用requests抓取数据，Beautiful Soup解析

以下代码从指定网页获取HTML，并创建一个Beautiful Soup对象用于解析：

PHP

import requests
from bs4 import BeautifulSoup

vgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/'
html_text = requests.get(vgm_url).text
soup = BeautifulSoup(html_text, 'html.parser')

soup 对象允许您遍历和搜索HTML中的数据。例如，soup.title 获取页面标题，print(soup.get_text()) 打印所有文本内容。

了解Beautiful Soup的核心方法

find() 和 find_all() 是Beautiful Soup中最常用的方法。find() 用于查找单个元素，例如 soup.find(id='banner_ad').text 获取指定ID元素的文本。 find_all() 用于查找所有匹配条件的元素，例如以下代码打印页面上所有超链接的URL：

PHP

for link in soup.find_all('a'):
    print(link.get('href'))

find_all() 支持多种参数，例如正则表达式或属性，以精确过滤搜索结果。

解析和导航HTML

在编写解析代码之前，建议使用浏览器开发者工具检查目标网页的HTML结构。下图显示了目标网页截图和开发者工具的使用方法。

使用 Beautiful Soup 在 Python 中进行网页抓取和解析 HTML

我们的目标是从网页下载MIDI文件，但需要排除重复曲目和混音版本。

使用Beautiful Soup过滤和下载MIDI文件

以下代码使用正则表达式过滤链接，仅下载不包含括号的MIDI文件：

PHP

import re
import requests
from bs4 import BeautifulSoup

vgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/'
html_text = requests.get(vgm_url).text
soup = BeautifulSoup(html_text, 'html.parser')


def download_track(count, track_element):
    track_title = track_element.text.strip().replace('/', '-')
    download_url = '{}{}'.format(vgm_url, track_element['href'])
    file_name = '{}_{}.mid'.format(count, track_title)
    r = requests.get(download_url, allow_redirects=True)
    with open(file_name, 'wb') as f:
        f.write(r.content)
    print('Downloaded: {}'.format(track_title))


if __name__ == '__main__':
    attrs = {'href': re.compile(r'.mid$')}
    tracks = soup.find_all('a', attrs=attrs, string=re.compile(r'^((?!().)*$'))
    count = 0
    for track in tracks:
        download_track(count, track)
        count += 1
    print(len(tracks))