스크래핑

이번 프로젝트는 유독 다른 웹 페이지의 정보들이 많이 필요했는데 그래서 웹 페이지 크롤링해야 되는 작업이 많았다. 웹 페이지 크롤링이란? 웹 페이지 HTML을 그대로 가져와서 필요한 모든 정보들을 추출해 내는 행위 프로젝트에서 웹 크롤링을 어떤 언어로 할지 고민을 좀 하긴 했다. 내가 사이드 프로젝트에 합류하기 전에 팀원이 작성해둔 크롤링 파이썬(Python) 코드가 있었지만 앞으로 내가 개발하고 운영해야 하기 때문에 자바로 해야 더 효율적이라는 판단을 내렸다. 그래서 내 맘대로 Jsoup을 사용하기로 했다. 자바(Java)를 사용해서 개발중이라 웹 크롤링 관련 라이브러리를 찾아보니 Jsoup 라이브러리를 찾을 수 있었다. Jsoup 공식 페이지를 들어가서 보니까 사용법도 어렵지 않아 보이고 빠르게 적용..