세상사즐겁고행복하게

출처 : http://clien.net/cs2/bbs/board.php?bo_table=lecture&wr_id=296511 ============= 하다보니 python, scrapy를 이용한 웹 크롤링 관련 동영상 강좌를 만들었습니다. scrapy는 웹 크롤링을 위한 framework입니다. 다양한 파서를 지원하며, 로깅, 파이프라인, 링크 재귀 호출 등의 크롤링과 관련된 풍부한 기능을 제공하는 라이브러리입니다. 관심 있으신 분은 보시면 유용할 것 같습니다. 마지막에는 예제로 클리앙, 보배드림의 게시판 리스트를 분석하고 데이터를 획득하는 내용을 code로 설명드리고 있습니다. 동영상 강좌 https://www.youtube.com/playlist?list=PLWUxS6i2fXtip8sHElwRUubw..

웹크롤러 추천 - [오픈소스] Scrapy : 파이썬 웹크롤러 웹크롤러를 만들기 위해 자료를 찾다가 발견한 파이썬 공개 패키지이다. * 설명 http://www.itworld.co.kr/slideshow/87408?slide=3#stage_slide Scrapy 스크래피(Scrapy)는 웹 사이트를 돌아다니면서 구조화된 데이터를 추출하기 위해 파이썬(Python)으로 작성한 애플리케이션 프레임워크이다. 그리고 나서 이 데이터를 데이터 마이닝, 정보 처리, 이력 기록 등 일련의 유용한 애플리케이션에 활용할 수 있다. 본래 화면 스크랩(좀 더 정확히 말하자면 웹 스크랩)용으로 개발된 스크래피는 API를 이용한 데이터 추출(아마존 어소시에이츠 웹 서비스(Amazon Associates Web Services)..