웹 크롤링(scrapy) 강좌

출처 : http://clien.net/cs2/bbs/board.php?bo_table=lecture&wr_id=296511

 

=============

 

하다보니 python, scrapy를 이용한 웹 크롤링 관련 동영상 강좌를 만들었습니다.

 

scrapy는 웹 크롤링을 위한 framework입니다.

다양한 파서를 지원하며, 로깅, 파이프라인, 링크 재귀 호출 등의 크롤링과 관련된 풍부한 기능을 제공하는 라이브러리입니다.

관심 있으신 분은 보시면 유용할 것 같습니다.

 

마지막에는 예제로 클리앙, 보배드림의 게시판 리스트를 분석하고 데이터를 획득하는 내용을 code로 설명드리고 있습니다.

 

동영상 강좌

https://www.youtube.com/playlist?list=PLWUxS6i2fXtip8sHElwRUubwWfLowlFA4

 

내용

1. 웹환경의 이해

2. 웹 크롤링_개발환경 구축

3. 웹크롤링_beautifulsoup4 & scrapy

4. 웹 데이터 저작권 및 사이트 정책

5. scrapy 구조

6. scrapy 실전

 

source code

https://github.com/onecue/scrapy_community

 

ppt

https://docs.google.com/presentation/d/1zYRXs6k_yDUqgbmBook17Wxz2zmCnpNdifUKDittDOc/edit?usp=sharing

https://docs.google.com/presentation/d/1dKQcrR8bQxh5Ji3FLLFA5sMPAVB1FO4uH9jMXCbzd2E/edit?usp=sharing

https://docs.google.com/presentation/d/1r_uJlPzxhBt8q6NxUYZBdf4MdOPFAJ6FCOpSpArWz10/edit?usp=sharing

 

PS. 다음 동영상은 'Deep Learning, TensorFlow 기초'를 준비 중입니다.