![]()
Jsoup 라이브러리 소개

Jsoup은 Java로 개발된 HTML 파서로서, 웹 페이지의 HTML 파일을 읽고 원하는 데이터를 쉽게 추출할 수 있도록 도와주는 오픈 소스 라이브러리입니다. Jsoup은 DOM(Document Object Model) 구조를 기반으로 하여 웹 페이지의 요소를 관리하며, CSS 선택자를 사용하여 필요한 데이터에 접근할 수 있습니다.
이러한 기능 덕분에 Jsoup은 정적 웹 페이지의 크롤링에 매우 유용합니다.| 기능 | 설명 |
|---|---|
| HTML 파싱 | HTML 문서를 읽고 DOM 트리로 변환 |
| 데이터 추출 | CSS 선택자를 통해 특정 요소를 손쉽게 선택하고 데이터 추출 |
| HTTP 요청 | URL에 대한 GET/POST 요청을 통해 웹 페이지 내용 가져오기 |
| 동적 콘텐츠 | JavaScript로 동적으로 생성된 콘텐츠에 대한 한계 있음 |
Jsoup의 주요 장점은 직관적인 API와 뛰어난 문서화입니다. 사용자는 복잡한 코드를 작성하지 않고도 웹 페이지의 데이터를 빠르게 추출할 수 있습니다.
이러한 이유로 Jsoup은 Java 개발자들 사이에서 웹 스크래핑을 위한 필수 도구로 자리 잡고 있습니다.Jsoup 설치 및 환경 설정

Jsoup을 사용하기 위해서는 먼저 프로젝트에 Jsoup 라이브러리를 추가해야 합니다. Gradle을 사용하는 경우, build.gradle 파일에 다음 의존성을 추가하면 됩니다.
groovy
dependencies {
implementation 'org.jsoup:jsoup:1.14.3'
}
이후, Gradle을 새로 고침하여 의존성을 적용합니다. Maven을 사용하는 경우, 다음과 같은 코드를 pom.xml 파일에 추가하면 됩니다.
xml
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.14.3</version>
</dependency>
Jsoup 라이브러리를 설치한 후, 웹 스크래핑을 진행하기 전에 스크래핑할 웹 페이지의 robots.txt 파일을 꼭 확인해야 합니다. 이 파일은 해당 웹사이트에서 크롤러가 접근할 수 있는 경로와 제한 사항을 정의하고 있습니다.
| robots.txt 예시 | 설명 |
|---|---|
| User-agent: * | 모든 크롤러에 대한 규칙 적용 |
| Disallow: /private/ | /private/ 경로에 대한 접근 제한 |
| Allow: /public/ | /public/ 경로에 대한 접근 허용 |
위와 같은 규칙을 준수하며 크롤링을 진행해야 합니다. 이를 통해 다른 사용자에게 피해를 주지 않고, 법적인 문제를 예방할 수 있습니다.
웹 페이지 크롤링 기본 흐름

이제 Jsoup을 사용하여 실제로 웹 페이지를 크롤링하는 과정을 살펴보겠습니다. 예를 들어, 야후 파이낸스에서 "Coke" 회사의 주가 정보를 크롤링하는 과정을 설명하겠습니다.
- URL 연결: Jsoup의
connect(url)메서드를 사용하여 웹 페이지에 연결합니다. - 문서 객체 생성:
get()메서드를 호출하여 HTML 문서를 가져와Document객체에 저장합니다. - 데이터 선택:
select(cssQuery)메서드를 사용하여 원하는 데이터에 접근합니다. - 데이터 출력: 추출한 데이터를 원하는 형태로 가공하여 출력합니다.
코드 예제
```java import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;
public class WebScraper { public static void main(String[] args) { try { String url = "https://finance.yahoo.com/quote/KO/history?p=KO"; Document doc = Jsoup.connect(url).get();
Elements rows = doc.select("table tbody tr");
for (Element row : rows) {
String date = row.select("td:nth-child(1)").text();
String closingPrice = row.select("td:nth-child(5)").text();
System.out.println("날짜: " + date + ", 종가: " + closingPrice);
}
} catch (Exception e) {
e.printStackTrace();
}
}
} ```
위의 코드는 Yahoo Finance에서 Coke의 주가 데이터를 크롤링하는 간단한 예제입니다. select() 메서드를 사용하여 테이블의 각 행을 선택하고, 필요한 정보를 추출하여 출력합니다.
| 데이터 형식 | 설명 |
|---|---|
| 날짜 | 주가가 기록된 날짜 |
| 종가 | 해당 날짜의 종가 |
이렇게 간단한 코드를 통해 원하는 데이터를 손쉽게 추출할 수 있습니다. Jsoup의 유연한 API 덕분에 다양한 웹 페이지에서 데이터를 수집할 수 있는 가능성이 열립니다.
예외 처리 및 주의사항
웹 스크래핑을 진행하다 보면 여러 가지 예외가 발생할 수 있습니다. 예를 들어, URL이 잘못되었거나 네트워크 문제로 인해 연결이 실패할 수 있습니다.
따라서 이러한 예외를 처리하기 위해try-catch 문을 사용해야 합니다. 예외 처리 코드가 없으면 프로그램이 예기치 않게 종료될 수 있으므로, 안정적인 크롤러를 만들기 위해 꼭 필요한 단계입니다.
java
try {
Document doc = Jsoup.connect(url).get();
// 크롤링 로직
} catch (IOException e) {
System.err.println("웹 페이지에 접근할 수 없습니다. " + e.getMessage());
} catch (Exception e) {
System.err.println("알 수 없는 오류가 발생했습니다. " + e.getMessage());
}
이와 같은 예외 처리 구문을 추가함으로써, 코드를 보다 안전하게 만들 수 있습니다. 또한, 크롤링 시에는 요청 빈도를 조절하여 서버에 과부하를 주지 않도록 주의해야 합니다.
무분별한 요청은 해당 웹사이트의 서비스에 영향을 미칠 수 있으며, IP 차단 등의 불이익을 초래할 수 있습니다.| 예외 종류 | 설명 |
|---|---|
| IOException | 네트워크 문제로 인해 페이지를 가져올 수 없음 |
| HttpStatusException | 서버에서 404, 500 등 에러 응답을 받을 경우 |
| TimeoutException | 요청이 지정된 시간 내에 완료되지 않을 경우 |
이러한 예외를 적절히 처리하고, 크롤링 시의 규칙을 준수한다면, 안정적이고 효율적인 웹 스크래핑이 가능합니다.
마무리 및 향후 계획
Jsoup을 활용한 웹 스크래핑의 기본적인 흐름과 예외 처리 방법에 대해 알아보았습니다. Java에서도 웹 스크래핑을 손쉽게 구현할 수 있다는 점에서 Jsoup은 매우 유용한 도구입니다.
이를 통해 원하는 데이터를 추출하고, 원하는 형태로 가공하여 활용할 수 있습니다. 웹 스크래핑은 다양한 분야에서 활용될 수 있으며, 데이터 분석, 시장 조사, 경쟁사 분석 등 여러 용도로 사용될 수 있습니다.또한, 데이터베이스에 저장하여 이후에 유용하게 활용할 수 있는 가능성도 열려 있습니다. 다음 포스팅에서는 동적으로 생성되는 콘텐츠를 크롤링하기 위한 Selenium 라이브러리의 사용법에 대해 다룰 예정입니다.이러한 내용을 통해 정적 페이지뿐만 아니라 동적 페이지의 데이터도 수집할 수 있는 방법을 익힐 수 있을 것입니다. 웹 스크래핑은 매우 흥미로운 기술이므로, 다양한 웹사이트에 적용해보며 실습해보시기 바랍니다.이를 통해 더 많은 경험을 쌓고, 자신만의 크롤러를 만들어보는 것도 좋을 것입니다.