[Python]웹 스크래핑 시작하기

웹 스크래핑(Web Scraping)은 웹 페이지의 데이터를 자동으로 추출하는 기술로, 데이터를 수집하고 분석하는 데 매우 유용합니다. Python은 웹 스크래핑 작업을 손쉽게 수행할 수 있는 강력한 라이브러리를 제공합니다. 이번 글에서는 Python으로 웹 스크래핑 시작하기(BeautifulSoup과 Requests 라이브러리를 사용)에 대해 자세히 알아보겠습니다.

1. 웹 스크래핑의 기본 개념

웹 스크래핑은 웹 페이지에서 원하는 데이터를 추출하는 과정입니다. 이를 위해 먼저 웹 페이지의 HTML 소스를 가져오고, 해당 소스에서 원하는 정보를 찾아내어 추출합니다. 이를 위해 다음과 같은 기본 단계를 거칩니다:

1. HTTP 요청을 보내 웹 페이지의 HTML 소스를 가져옵니다.
2. HTML 소스를 파싱하여 원하는 데이터를 찾습니다.
3. 데이터를 추출하고, 필요한 형태로 가공합니다.

2. 필요한 라이브러리 설치

웹 스크래핑을 시작하기 위해 필요한 라이브러리를 설치합니다. Python의 패키지 관리 도구인 pip를 사용하여 BeautifulSoup과 Requests 라이브러리를 설치할 수 있습니다.

pip install beautifulsoup4 requests

3. 기본적인 웹 스크래핑 예제

다음은 BeautifulSoup과 Requests 라이브러리를 사용하여 간단한 웹 스크래핑을 수행하는 예제입니다. 이 예제에서는 특정 웹 페이지에서 제목을 추출하는 과정을 보여줍니다.

import requests
from bs4 import BeautifulSoup

# 웹 페이지 URL
url = "https://example.com"

# HTTP GET 요청을 보내고 응답을 받습니다.
response = requests.get(url)

# 응답의 HTML 소스를 파싱합니다.
soup = BeautifulSoup(response.text, "html.parser")

# 제목 태그를 찾습니다.
title = soup.find("title")

# 제목을 출력합니다.
print(f"페이지 제목: {title.string}")

위 코드에서 requests.get() 함수는 지정된 URL로 HTTP GET 요청을 보내고, 응답 객체를 반환합니다. BeautifulSoup 객체는 응답의 HTML 소스를 파싱하여 탐색할 수 있는 형태로 만듭니다. soup.find() 메서드는 지정된 태그를 찾아 반환하며, 여기서는 페이지의 제목 태그를 찾습니다.

4. 특정 데이터 추출하기

웹 페이지에서 더 복잡한 데이터를 추출하는 예제를 살펴보겠습니다. 예를 들어, 뉴스 웹사이트에서 최신 기사 제목을 추출하려면 다음과 같은 방법을 사용할 수 있습니다.

url = "https://news.ycombinator.com/"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

# 기사 제목들을 찾습니다.
articles = soup.find_all("a", class_="storylink")

# 기사 제목을 출력합니다.
for index, article in enumerate(articles, start=1):
    print(f"{index}. {article.get_text()}")

이 코드에서는 find_all() 메서드를 사용하여 모든 기사 제목 링크를 찾아 리스트로 반환합니다. 각 링크의 텍스트를 추출하여 출력합니다.

5. 웹 스크래핑 실습: 영화 리뷰 데이터 추출

이번에는 IMDb 웹사이트에서 영화 리뷰 데이터를 추출하는 예제를 살펴보겠습니다. 이를 통해 실제로 유용한 데이터를 수집하는 방법을 배워봅시다.

url = "https://www.imdb.com/title/tt0111161/reviews"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

# 리뷰 태그들을 찾습니다.
reviews = soup.find_all("div", class_="text show-more__control")

# 리뷰 내용을 출력합니다.
for index, review in enumerate(reviews, start=1):
    print(f"리뷰 {index}:\n{review.get_text()}\n")

이 코드에서는 IMDb 영화 리뷰 페이지에서 리뷰 내용을 추출합니다. find_all() 메서드를 사용하여 모든 리뷰 태그를 찾아 리스트로 반환하고, 각 리뷰의 텍스트를 추출하여 출력합니다.

6. 웹 스크래핑 시 주의사항

웹 스크래핑을 할 때는 몇 가지 주의사항을 염두에 두어야 합니다:

• 로봇 배제 표준(Robots.txt): 웹사이트의 robots.txt 파일을 확인하여 스크래핑이 허용되는지 확인합니다. 이 파일은 사이트 소유자가 스크래핑을 허용하는 부분과 금지하는 부분을 명시합니다.
• 과도한 요청 지양: 웹사이트에 과도한 요청을 보내지 않도록 주의합니다. 이는 서버에 부담을 줄 수 있으며, IP 차단 등의 제재를 받을 수 있습니다. 요청 간에 적절한 대기 시간을 설정하는 것이 좋습니다.
• 데이터 사용 권한: 수집한 데이터를 사용할 때는 저작권과 사용 권한을 준수해야 합니다. 데이터의 상업적 사용이나 재배포는 법적 문제가 될 수 있습니다.

7. 고급 웹 스크래핑: Selenium 사용

BeautifulSoup과 Requests는 정적인 웹 페이지 스크래핑에 적합하지만, 동적으로 로드되는 콘텐츠를 스크래핑하려면 Selenium과 같은 브라우저 자동화 도구를 사용할 수 있습니다.

Selenium을 사용하려면 먼저 설치해야 합니다:

bash코드 복사pip install selenium

그런 다음, 웹 드라이버를 설정하고 동적으로 로드되는 콘텐츠를 스크래핑할 수 있습니다. 다음은 Selenium을 사용하여 JavaScript로 로드되는 데이터를 스크래핑하는 예제입니다:

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

# 웹 드라이버 경로
driver_path = "/path/to/chromedriver"

# 웹 드라이버 설정
driver = webdriver.Chrome(driver_path)
url = "https://example.com"
driver.get(url)

# 페이지 로드 대기
time.sleep(3)

# 동적 콘텐츠 스크래핑
elements = driver.find_elements(By.CLASS_NAME, "dynamic-content-class")
for element in elements:
    print(element.text)

# 드라이버 종료
driver.quit()

이 예제에서는 Selenium 웹 드라이버를 사용하여 브라우저를 자동화하고, 동적으로 로드되는 콘텐츠를 스크래핑합니다.

결론

Python을 사용하여 웹 스크래핑을 시작하는 방법에 대해 알아보았습니다. BeautifulSoup과 Requests 라이브러리를 사용하여 간단한 웹 스크래핑 작업을 수행하고, Selenium을 통해 동적으로 로드되는 콘텐츠를 스크래핑하는 방법도 살펴보았습니다. 웹 스크래핑은 데이터 수집과 분석에 매우 유용한 기술이지만, 윤리적이고 법적인 측면을 항상 고려하여 사용해야 합니다. 이번 글에서 배운 내용을 바탕으로 다양한 웹 사이트에서 데이터를 추출하고, 유용한 정보를 수집해 보세요. Python의 강력한 기능을 활용하여 데이터 분석 프로젝트에 활용할 수 있을 것입니다.