Python 웹 크롤링

# Python 웹 크롤링 가이드

## 학습 목표
웹사이트에서 데이터를 자동으로 수집합니다.

## 1. 크롤링이란?
웹페이지에서 데이터를 자동 수집하는 기술입니다.
- 가격 비교
- 뉴스 수집
- 리뷰 분석
- 데이터 수집

## 2. 필수 라이브러리
pip install requests beautifulsoup4 selenium

## 3. requests로 HTML 가져오기
import requests

response = requests.get("https://example.com")
response.status_code # 200
response.text # HTML 내용
response.encoding = "utf-8"

헤더 설정:
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)

## 4. BeautifulSoup 파싱
from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, "html.parser")

태그로 찾기:
soup.find("h1")
soup.find_all("p")
soup.find("div", class_="content")
soup.find("div", id="main")
soup.find("a", href=True)

## 5. CSS 선택자
soup.select("div.content")
soup.select("#main")
soup.select("div > p")
soup.select("ul li")
soup.select("a[href]")
soup.select_one("h1")

## 6. 데이터 추출
텍스트:
element.text
element.get_text()
element.get_text(strip=True)

속성:
element["href"]
element["src"]
element.get("class")

## 7. 실전 예제 - 뉴스 크롤링
import requests
from bs4 import BeautifulSoup

url = "https://news.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

articles = []
for item in soup.select("div.news-item"):
title = item.select_one("h2").text.strip()
link = item.select_one("a")["href"]
date = item.select_one(".date").text.strip()
articles.append({"title": title, "link": link, "date": date})

## 8. Selenium (동적 페이지)
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://example.com")

대기:
WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, "content"))
)

요소 찾기:
driver.find_element(By.ID, "search")
driver.find_element(By.CLASS_NAME, "btn")
driver.find_element(By.CSS_SELECTOR, "div.content")
driver.find_elements(By.TAG_NAME, "a")

입력/클릭:
element.send_keys("검색어")
element.click()
element.clear()

스크롤:
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")

HTML 가져오기:
html = driver.page_source
soup = BeautifulSoup(html, "html.parser")

driver.quit()

## 9. 페이지네이션
page = 1
all_data = []

while page <= 10:
url = f"https://example.com/list?page={page}"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")

items = soup.select(".item")
if not items:
break

for item in items:
all_data.append(item.text)

page += 1
time.sleep(1) # 서버 부하 방지

## 10. 데이터 저장
CSV:
import csv
with open("data.csv", "w", newline="", encoding="utf-8") as f:
writer = csv.DictWriter(f, fieldnames=["title", "link"])
writer.writeheader()
writer.writerows(articles)

JSON:
import json
with open("data.json", "w", encoding="utf-8") as f:
json.dump(articles, f, ensure_ascii=False, indent=2)

Pandas:
import pandas as pd
df = pd.DataFrame(articles)
df.to_csv("data.csv", index=False)

## 11. 에러 처리
import time

for url in urls:
try:
response = requests.get(url, timeout=10)
response.raise_for_status()
# 파싱
except requests.RequestException as e:
print(f"Error: {e}")
continue
finally:
time.sleep(1)

## 12. 윤리적 크롤링
robots.txt 확인:
https://example.com/robots.txt

요청 간격 두기:
import time
time.sleep(1)

User-Agent 설정:
headers = {"User-Agent": "MyBot/1.0"}

저작권 준수:
- 수집 데이터 상업적 사용 주의
- 서버 부하 최소화
- 이용약관 확인

## 추천 학습 순서
1. requests + BeautifulSoup 기초
2. CSS 선택자 활용
3. Selenium 동적 페이지
4. 페이지네이션 처리
5. 에러 처리와 저장