jsoup

이번 프로젝트는 유독 다른 웹 페이지의 정보들이 많이 필요했는데 그래서 웹 페이지 크롤링해야 되는 작업이 많았다. 웹 페이지 크롤링이란? 웹 페이지 HTML을 그대로 가져와서 필요한 모든 정보들을 추출해 내는 행위 프로젝트에서 웹 크롤링을 어떤 언어로 할지 고민을 좀 하긴 했다. 내가 사이드 프로젝트에 합류하기 전에 팀원이 작성해둔 크롤링 파이썬(Python) 코드가 있었지만 앞으로 내가 개발하고 운영해야 하기 때문에 자바로 해야 더 효율적이라는 판단을 내렸다. 그래서 내 맘대로 Jsoup을 사용하기로 했다. 자바(Java)를 사용해서 개발중이라 웹 크롤링 관련 라이브러리를 찾아보니 Jsoup 라이브러리를 찾을 수 있었다. Jsoup 공식 페이지를 들어가서 보니까 사용법도 어렵지 않아 보이고 빠르게 적용..

지난번 포스팅에서는 Spring Boot 환경에서 웹 크롤링을 하기 위해 Java 라이브러리인 Jsoup을 어떻게 적용하고, 사용하는지에 대해 확인하면서 정적인 페이지만 크롤링 가능하다는 점을 알게 되었다. (Jsoup은 동적 페이지는 크롤링을 하지 못한다.) 이를 해결하기 위해 또 다른 크롤링 라이브러리인 셀레니움(Selenium)에 대해 알아보려고 한다. 공식 홈페이지에 따르면 웹 브라우저의 자동화를 가능하게 하고 다양한 도구와 라이브러리를 지원하는 프로젝트라고 되어 있다. Selenium Selenium automates browsers. That's it! www.selenium.dev 바로 시작해보자😉 Selenium 라이브러리 적용 및 사용하기 1. 예제 살펴보기 Selenium 공식 홈페이지..

킹반인이 사이드 프로젝트를 시작하다 (1) 나는 여느 사람과 달리 킹반인이라 평범하게 회사도 다니고 평범하게 일상도 즐기고 있는 와중에 문득 평범하게 내가 주도해서 개발을 하고 싶다는 생각을 하게 되었다. 혼자 개발하고 혼자 고민하고 이런 시간이 많다 보니 실력도 잘 늘지 않는 것 같기도 하고 많은 경험을 하지 못하는 것 같아서 여러 사람들과 프로젝트를 하면 좋겠다는 생각으로 이것저것 검색하기 시작했다. 검색해보면서 사이드 프로젝트라는 개념조차도 처음 알았는데...😅 너무 혼자만의 세상에 갇혀있었나 보다.. 따지고 보면 사이드 프로젝트가 이번이 완전 처음은 아니고 아는 사람들을 통해서 가볍게 프로젝트를 진행한 적이 있었는데, 회사에서 개발하면서 자바스크립트도 많이 만지게 되다 보니 스크립트가 궁금하여 바..