크롤링 해도 되는 사이트인가?

흩어져있는 정보를 취합하고 서비스하기 위해 크롤링은 아주 좋은 기술이다.

 

 

만

 

 

 

흩어져 있다고 덮어놓고 크롤링하다간 큰 코 다친다..

 

 

사이트들의 루트디렉토리에 있는 robots.txt 를 보면

이 사이트에 대해 크롤링을 해도 되는 지를 알 수 있다.

 

 

방법.

사이트명에 /robots.txt 를 확인한다.

ex) https://www.naver.com/robots.txt

 

 

다음과 같은 페이지가 뜬다.

 

내용은 다음과 같다.

네이버는 모든 봇으로부터 사이트 전체에 대해 크롤링을 허용하지 않는다.

 

웃대

 

디씨

 

오유

ㅋㅋ

 

 

http://www.robotstxt.org/

 

에서  더 자세한 내용을 확인할 수 있다.

 

 

하여튼간 Disallow 라고 명시되어있는 디렉토리 및 파일에 대해 크롤링하여 상업목적의 서비스를 할 경우 위험할 수 있음

http://www.bizwatch.co.kr/pages/view.php?uid=33680

대법원 "웹사이트 무단 크롤링은 불법"

잡코리아, 사람인 상대 9년 소송전서 승소
크롤링(데이터 수집) 법적 기준 정립