Для парсинга веб-страниц в Python часто используют библиотеку requests, чтобы получить HTML-код страницы, и библиотеку BeautifulSoup, чтобы извлечь нужные данные из этого HTML-кода.
Вот простой пример кода, чтобы получить заголовки всех заголовков h1 с веб-страницы:
import requests
from bs4 import BeautifulSoup
url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
headers = soup.find_all('h1')
for header in headers:
print(header.text)
Этот код сначала делает запрос GET к указанному URL, затем создает объект BeautifulSoup с HTML-кодом страницы. После этого мы можем использовать метод find_all для поиска всех элементов h1 на странице и вывести их текст с помощью header.text.
Если вам нужно использовать другие методы из BeautifulSoup для извлечения данных, то вам лучше изучить его документацию, так как эта библиотека предоставляет множество возможностей для парсинга веб-страниц.
Также учтите, что при парсинге веб-страниц важно соблюдать правила сайта и не нарушать их политику использования данных. В некоторых случаях может потребоваться использование авторизации или задержек между запросами, чтобы не нагружать сервер и избежать блокировок.