웹 크롤링이란 무엇인가?

인터넷에는 뉴스, 상품 정보, 주식 데이터, 날씨, 게시글 등 매우 많은 정보가 존재합니다.

이러한 정보를 사람이 웹사이트에 하나씩 접속해서 복사하려면 많은 시간과 노력이 필요합니다.

웹 크롤링(Web Crawling)은 프로그램이 웹사이트에 자동으로 접속하여 웹페이지의 정보를 수집하는 기술입니다.

웹 크롤링을 공부하다 보면 웹 스크래핑(Web Scraping)이라는 용어도 자주 만나게 됩니다.

두 용어는 실제로 비슷한 의미로 사용되기도 하지만, 개념적으로는 약간의 차이가 있습니다.

우리가 웹 브라우저에서 사이트를 보는 과정과 웹 크롤링 프로그램의 동작 과정은 기본적으로 비슷합니다.

웹페이지는 기본적으로 HTML(HyperText Markup Language)이라는 문서 구조로 만들어집니다.

예를 들어 다음과 같은 HTML이 있다고 가정해 보겠습니다.

<div class="product">
    <h2>파이썬 입문서</h2>
    <p class="price">25,000원</p>
</div>

크롤링 프로그램은 이 HTML을 분석하여 파이썬 입문서라는 상품명이나 25,000원이라는 가격 정보를 찾아낼 수 있습니다.

파이썬에서는 웹사이트에 요청을 보내기 위해 requests라는 라이브러리를 많이 사용합니다.

pip install requests

import requests

url = "https://quotes.toscrape.com/"

response = requests.get(url, timeout=10)

print(response.status_code)

서버에서 받은 HTML은 response.text를 이용하여 확인할 수 있습니다.

import requests

url = "https://quotes.toscrape.com/"

response = requests.get(url, timeout=10)
response.raise_for_status()

print(response.text)

실행하면 웹페이지를 구성하는 HTML 코드가 화면에 출력됩니다.

requests를 사용하면 HTML 전체를 가져올 수 있지만, 우리가 필요한 것은 보통 HTML 전체가 아니라 특정 제목, 가격, 링크, 게시글 내용 등입니다.

이런 데이터를 쉽게 찾을 수 있도록 도와주는 라이브러리가 BeautifulSoup입니다.

pip install beautifulsoup4

import requests
from bs4 import BeautifulSoup

url = "https://quotes.toscrape.com/"

response = requests.get(url, timeout=10)
response.raise_for_status()

soup = BeautifulSoup(response.text, "html.parser")

quote = soup.select_one(".text")

print(quote.get_text(strip=True))

select()를 사용하면 조건에 맞는 여러 요소를 한꺼번에 찾을 수 있습니다.

import requests
from bs4 import BeautifulSoup

url = "https://quotes.toscrape.com/"

response = requests.get(url, timeout=10)
response.raise_for_status()

soup = BeautifulSoup(response.text, "html.parser")

quotes = soup.select(".text")

for quote in quotes:
    print(quote.get_text(strip=True))

웹 크롤링은 반복적으로 웹 정보를 확인하고 정리해야 하는 다양한 업무에 활용할 수 있습니다.

파이썬으로 웹페이지를 가져올 수 있다고 해서 모든 웹사이트의 정보를 마음대로 수집해도 된다는 의미는 아닙니다.

반복문으로 수백 개의 페이지를 크롤링하면서 요청을 쉬지 않고 계속 보내면 상대 서버에 부담을 줄 수 있습니다.

학습 단계에서는 필요에 따라 요청 사이에 일정한 간격을 두는 방법을 사용할 수 있습니다.

import time
import requests

urls = [
    "https://example.com/page1",
    "https://example.com/page2",
    "https://example.com/page3"
]

for url in urls:
    response = requests.get(url, timeout=10)

    print(response.status_code)

    time.sleep(1)

지금까지 배운 내용을 하나의 프로그램으로 정리해 보겠습니다.

아래 프로그램은 크롤링 연습 사이트에서 문장과 작성자를 함께 가져오는 예제입니다.

import requests
from bs4 import BeautifulSoup

url = "https://quotes.toscrape.com/"

response = requests.get(url, timeout=10)
response.raise_for_status()

soup = BeautifulSoup(response.text, "html.parser")

items = soup.select(".quote")

for item in items:
    text = item.select_one(".text").get_text(strip=True)
    author = item.select_one(".author").get_text(strip=True)

    print("문장 :", text)
    print("작성자 :", author)
    print("-" * 50)