728x90

크롤러 2

web Crawler에 대한 질의응답문

web Crawler에 대한 질의응답문 web Crawler에 대한 질의응답문인데 괜찮네요. * 질문 * 언어 : Python , PHP 중 1택 서버 : Apache DBMS : MySQL 어디서 부터 정보를 모아야 할지 막막합니다. 우선 저는 국내에 출판된 책중 파이썬 관련 책에 크롤러 관련 목차가 있어 이책부터 볼려고합니다. 그리고 data mining은 어떻게 접근 하는것이 좋을까요? Crawler 와 data mining 분석시스템 설계에 대하여 접근방법 조언 구하고싶습니다. * 댓평 * 너무 포괄적인 질문이라 답변하기가 그렇네요. ^^; 크롤링의 범위와 크롤링 대상을 정해야 하겠죠. 데이터 가공과도 연관이 되는 부분이구요. 이런 포괄적 질문에도 육하원칙은 적용이 됩니다. 뭘, 왜 하고 싶은지 ..

시스템 2021.01.12

웹크롤러 추천 - [오픈소스] Scrapy : 파이썬 웹크롤러

웹크롤러 추천 - [오픈소스] Scrapy : 파이썬 웹크롤러 웹크롤러를 만들기 위해 자료를 찾다가 발견한 파이썬 공개 패키지이다. * 설명 http://www.itworld.co.kr/slideshow/87408?slide=3#stage_slide Scrapy 스크래피(Scrapy)는 웹 사이트를 돌아다니면서 구조화된 데이터를 추출하기 위해 파이썬(Python)으로 작성한 애플리케이션 프레임워크이다. 그리고 나서 이 데이터를 데이터 마이닝, 정보 처리, 이력 기록 등 일련의 유용한 애플리케이션에 활용할 수 있다. 본래 화면 스크랩(좀 더 정확히 말하자면 웹 스크랩)용으로 개발된 스크래피는 API를 이용한 데이터 추출(아마존 어소시에이츠 웹 서비스(Amazon Associates Web Services)..

프로그램/Python 2021.01.10
728x90
반응형