Java로 웹 스크래핑하는 법 Jsoup 활용하기

2026-02-22 · Uncategorized · 읽는데 13분

Java로 웹 스크래핑하는 법 Jsoup 활용하기
웹 스크래핑은 웹 페이지에서 특정 데이터를 추출하는 기술로, 많은 사람들이 유용한 정보를 수집하기 위해 사용합니다. 이 과정에서 주로 Python의 BeautifulSoup와 같은 라이브러리가 이용되지만, Java에서도 Jsoup이라는 강력한 라이브러리를 통해 웹 스크래핑을 할 수 있습니다.

본 글에서는 Java에서 Jsoup을 활용하여 웹 스크래핑을 수행하는 방법에 대해 자세히 알아보겠습니다.

썸네일

Jsoup 라이브러리 소개

웹 스크래핑 기술

Jsoup은 Java로 개발된 HTML 파서로서, 웹 페이지의 HTML 파일을 읽고 원하는 데이터를 쉽게 추출할 수 있도록 도와주는 오픈 소스 라이브러리입니다. Jsoup은 DOM(Document Object Model) 구조를 기반으로 하여 웹 페이지의 요소를 관리하며, CSS 선택자를 사용하여 필요한 데이터에 접근할 수 있습니다.

이러한 기능 덕분에 Jsoup은 정적 웹 페이지의 크롤링에 매우 유용합니다.

기능 설명
HTML 파싱 HTML 문서를 읽고 DOM 트리로 변환
데이터 추출 CSS 선택자를 통해 특정 요소를 손쉽게 선택하고 데이터 추출
HTTP 요청 URL에 대한 GET/POST 요청을 통해 웹 페이지 내용 가져오기
동적 콘텐츠 JavaScript로 동적으로 생성된 콘텐츠에 대한 한계 있음

Jsoup의 주요 장점은 직관적인 API와 뛰어난 문서화입니다. 사용자는 복잡한 코드를 작성하지 않고도 웹 페이지의 데이터를 빠르게 추출할 수 있습니다.

이러한 이유로 Jsoup은 Java 개발자들 사이에서 웹 스크래핑을 위한 필수 도구로 자리 잡고 있습니다.

Jsoup 설치 및 환경 설정

Jsoup 라이브러리

Jsoup을 사용하기 위해서는 먼저 프로젝트에 Jsoup 라이브러리를 추가해야 합니다. Gradle을 사용하는 경우, build.gradle 파일에 다음 의존성을 추가하면 됩니다.

groovy dependencies { implementation 'org.jsoup:jsoup:1.14.3' }

이후, Gradle을 새로 고침하여 의존성을 적용합니다. Maven을 사용하는 경우, 다음과 같은 코드를 pom.xml 파일에 추가하면 됩니다.

xml <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.14.3</version> </dependency>

Jsoup 라이브러리를 설치한 후, 웹 스크래핑을 진행하기 전에 스크래핑할 웹 페이지의 robots.txt 파일을 꼭 확인해야 합니다. 이 파일은 해당 웹사이트에서 크롤러가 접근할 수 있는 경로와 제한 사항을 정의하고 있습니다.

그러므로, 이를 무시하고 크롤링을 진행하는 것은 법적 문제를 유발할 수 있습니다.

robots.txt 예시 설명
User-agent: * 모든 크롤러에 대한 규칙 적용
Disallow: /private/ /private/ 경로에 대한 접근 제한
Allow: /public/ /public/ 경로에 대한 접근 허용

위와 같은 규칙을 준수하며 크롤링을 진행해야 합니다. 이를 통해 다른 사용자에게 피해를 주지 않고, 법적인 문제를 예방할 수 있습니다.

다른 내용도 보러가기 #1

웹 페이지 크롤링 기본 흐름

HTML 파서

이제 Jsoup을 사용하여 실제로 웹 페이지를 크롤링하는 과정을 살펴보겠습니다. 예를 들어, 야후 파이낸스에서 "Coke" 회사의 주가 정보를 크롤링하는 과정을 설명하겠습니다.

  1. URL 연결: Jsoup의 connect(url) 메서드를 사용하여 웹 페이지에 연결합니다.
  2. 문서 객체 생성: get() 메서드를 호출하여 HTML 문서를 가져와 Document 객체에 저장합니다.
  3. 데이터 선택: select(cssQuery) 메서드를 사용하여 원하는 데이터에 접근합니다.
  4. 데이터 출력: 추출한 데이터를 원하는 형태로 가공하여 출력합니다.

코드 예제

```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;

public class WebScraper { public static void main(String[] args) { try { String url = "https://finance.yahoo.com/quote/KO/history?p=KO"; Document doc = Jsoup.connect(url).get();

        Elements rows = doc.select("table tbody tr");
        for (Element row : rows) {
            String date = row.select("td:nth-child(1)").text();
            String closingPrice = row.select("td:nth-child(5)").text();
            System.out.println("날짜: " + date + ", 종가: " + closingPrice);
        }
    } catch (Exception e) {
        e.printStackTrace();
    }
}

} ```

위의 코드는 Yahoo Finance에서 Coke의 주가 데이터를 크롤링하는 간단한 예제입니다. select() 메서드를 사용하여 테이블의 각 행을 선택하고, 필요한 정보를 추출하여 출력합니다.

데이터 형식 설명
날짜 주가가 기록된 날짜
종가 해당 날짜의 종가

이렇게 간단한 코드를 통해 원하는 데이터를 손쉽게 추출할 수 있습니다. Jsoup의 유연한 API 덕분에 다양한 웹 페이지에서 데이터를 수집할 수 있는 가능성이 열립니다.

예외 처리 및 주의사항

웹 스크래핑을 진행하다 보면 여러 가지 예외가 발생할 수 있습니다. 예를 들어, URL이 잘못되었거나 네트워크 문제로 인해 연결이 실패할 수 있습니다.

따라서 이러한 예외를 처리하기 위해 try-catch 문을 사용해야 합니다. 예외 처리 코드가 없으면 프로그램이 예기치 않게 종료될 수 있으므로, 안정적인 크롤러를 만들기 위해 꼭 필요한 단계입니다.

java try { Document doc = Jsoup.connect(url).get(); // 크롤링 로직 } catch (IOException e) { System.err.println("웹 페이지에 접근할 수 없습니다. " + e.getMessage()); } catch (Exception e) { System.err.println("알 수 없는 오류가 발생했습니다. " + e.getMessage()); }

이와 같은 예외 처리 구문을 추가함으로써, 코드를 보다 안전하게 만들 수 있습니다. 또한, 크롤링 시에는 요청 빈도를 조절하여 서버에 과부하를 주지 않도록 주의해야 합니다.

무분별한 요청은 해당 웹사이트의 서비스에 영향을 미칠 수 있으며, IP 차단 등의 불이익을 초래할 수 있습니다.

예외 종류 설명
IOException 네트워크 문제로 인해 페이지를 가져올 수 없음
HttpStatusException 서버에서 404, 500 등 에러 응답을 받을 경우
TimeoutException 요청이 지정된 시간 내에 완료되지 않을 경우

이러한 예외를 적절히 처리하고, 크롤링 시의 규칙을 준수한다면, 안정적이고 효율적인 웹 스크래핑이 가능합니다.

마무리 및 향후 계획

Jsoup을 활용한 웹 스크래핑의 기본적인 흐름과 예외 처리 방법에 대해 알아보았습니다. Java에서도 웹 스크래핑을 손쉽게 구현할 수 있다는 점에서 Jsoup은 매우 유용한 도구입니다.

이를 통해 원하는 데이터를 추출하고, 원하는 형태로 가공하여 활용할 수 있습니다. 웹 스크래핑은 다양한 분야에서 활용될 수 있으며, 데이터 분석, 시장 조사, 경쟁사 분석 등 여러 용도로 사용될 수 있습니다.

또한, 데이터베이스에 저장하여 이후에 유용하게 활용할 수 있는 가능성도 열려 있습니다. 다음 포스팅에서는 동적으로 생성되는 콘텐츠를 크롤링하기 위한 Selenium 라이브러리의 사용법에 대해 다룰 예정입니다.

이러한 내용을 통해 정적 페이지뿐만 아니라 동적 페이지의 데이터도 수집할 수 있는 방법을 익힐 수 있을 것입니다. 웹 스크래핑은 매우 흥미로운 기술이므로, 다양한 웹사이트에 적용해보며 실습해보시기 바랍니다.

이를 통해 더 많은 경험을 쌓고, 자신만의 크롤러를 만들어보는 것도 좋을 것입니다.

관련 영상

같이 보면 좋은 글