파이썬 Flask를 사용하여 크롤링을 수행하는 방법

 

 

Flask는 웹 애플리케이션을 개발하기 위한 경량화된 프레임워크로, 크롤링을 포함한 다양한 웹 기능을 구현할 수 있습니다.
먼저, 크롤링을 위해 필요한 라이브러리인 requests와 BeautifulSoup을 설치해야 합니다. 아래의 명령어를 사용하여 설치할 수 있습니다.

pip install requests
pip install beautifulsoup4

 

이제 Flask 애플리케이션 내에서 크롤링을 수행하기 위한 코드를 작성해보겠습니다. 아래의 예시 코드는 특정 웹 페이지에서 제목을 크롤링하여 반환하는 기능을 구현한 예입니다.

from flask import Flask
import requests
from bs4 import BeautifulSoup

app = Flask(__name__)

@app.route('/')
def crawl():
    url = '크롤링할 웹 페이지의 URL'
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    title = soup.title.text

    return title

if __name__ == '__main__':
    app.run()

 

위의 코드에서 '크롤링할 웹 페이지의 URL' 부분에 크롤링하고자 하는 웹 페이지의 URL을 입력하시면 됩니다. 이 예시 코드는 Flask 애플리케이션을 실행하고 브라우저에서 접속하면 해당 웹 페이지의 제목을 반환합니다.