728x90

웹크롤링 2

웹 크롤링(scrapy) 강좌

출처 : http://clien.net/cs2/bbs/board.php?bo_table=lecture&wr_id=296511 ============= 하다보니 python, scrapy를 이용한 웹 크롤링 관련 동영상 강좌를 만들었습니다. scrapy는 웹 크롤링을 위한 framework입니다. 다양한 파서를 지원하며, 로깅, 파이프라인, 링크 재귀 호출 등의 크롤링과 관련된 풍부한 기능을 제공하는 라이브러리입니다. 관심 있으신 분은 보시면 유용할 것 같습니다. 마지막에는 예제로 클리앙, 보배드림의 게시판 리스트를 분석하고 데이터를 획득하는 내용을 code로 설명드리고 있습니다. 동영상 강좌 https://www.youtube.com/playlist?list=PLWUxS6i2fXtip8sHElwRUubw..

web Crawler에 대한 질의응답문

web Crawler에 대한 질의응답문 web Crawler에 대한 질의응답문인데 괜찮네요. * 질문 * 언어 : Python , PHP 중 1택 서버 : Apache DBMS : MySQL 어디서 부터 정보를 모아야 할지 막막합니다. 우선 저는 국내에 출판된 책중 파이썬 관련 책에 크롤러 관련 목차가 있어 이책부터 볼려고합니다. 그리고 data mining은 어떻게 접근 하는것이 좋을까요? Crawler 와 data mining 분석시스템 설계에 대하여 접근방법 조언 구하고싶습니다. * 댓평 * 너무 포괄적인 질문이라 답변하기가 그렇네요. ^^; 크롤링의 범위와 크롤링 대상을 정해야 하겠죠. 데이터 가공과도 연관이 되는 부분이구요. 이런 포괄적 질문에도 육하원칙은 적용이 됩니다. 뭘, 왜 하고 싶은지 ..

시스템 2021.01.12
728x90
반응형