크롤러 만들기1 파이썬(Python) 으로 피파온라인 유저랭킹 크롤링하기! (1) 크롤링? 크롤러? 웹상에는 수많은 웹페이지가 존재한다. 한 웹사이트만해도 수십, 수백개의 웹페이지로 이루어져있으며 각기 다른 형태, 종류의 정보를 가지고 있다. 우리는 이런 정보를 자동으로 읽어들인 후 입맛에 맞게 활용할 수 있다. 이러한 행위를 하는 프로그램을 웹 크롤러라 하며 수집하는 행위를 크롤링한다 라고 표현한다. 웹 크롤러 사전적 정의 wikipedia에서는 아래와 같이 정의한다. 웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다. 대표적으로 검색엔진을 들수있다. 구글, 네이버 등의 검색엔진은 검색결과를 보여주기위해 웹상에 흩어져있는 수많은 웹페이지들을 수집하고 가공하여 검색엔진에 인덱싱(색인)한다. 이 순간에도 웹상의 정보들은 변화하는.. 2020. 6. 5. 이전 1 다음
