크롤링

이번 프로젝트는 유독 다른 웹 페이지의 정보들이 많이 필요했는데 그래서 웹 페이지 크롤링해야 되는 작업이 많았다. 웹 페이지 크롤링이란? 웹 페이지 HTML을 그대로 가져와서 필요한 모든 정보들을 추출해 내는 행위 프로젝트에서 웹 크롤링을 어떤 언어로 할지 고민을 좀 하긴 했다. 내가 사이드 프로젝트에 합류하기 전에 팀원이 작성해둔 크롤링 파이썬(Python) 코드가 있었지만 앞으로 내가 개발하고 운영해야 하기 때문에 자바로 해야 더 효율적이라는 판단을 내렸다. 그래서 내 맘대로 Jsoup을 사용하기로 했다. 자바(Java)를 사용해서 개발중이라 웹 크롤링 관련 라이브러리를 찾아보니 Jsoup 라이브러리를 찾을 수 있었다. Jsoup 공식 페이지를 들어가서 보니까 사용법도 어렵지 않아 보이고 빠르게 적용..

지난번 포스팅에서는 Spring Boot 환경에서 웹 크롤링을 하기 위해 Java 라이브러리인 Jsoup을 어떻게 적용하고, 사용하는지에 대해 확인하면서 정적인 페이지만 크롤링 가능하다는 점을 알게 되었다. (Jsoup은 동적 페이지는 크롤링을 하지 못한다.) 이를 해결하기 위해 또 다른 크롤링 라이브러리인 셀레니움(Selenium)에 대해 알아보려고 한다. 공식 홈페이지에 따르면 웹 브라우저의 자동화를 가능하게 하고 다양한 도구와 라이브러리를 지원하는 프로젝트라고 되어 있다. Selenium Selenium automates browsers. That's it! www.selenium.dev 바로 시작해보자😉 Selenium 라이브러리 적용 및 사용하기 1. 예제 살펴보기 Selenium 공식 홈페이지..