목록robots.txt (1)

DailyOscar

크롤링 해도 되는 사이트인가?

흩어져있는 정보를 취합하고 서비스하기 위해 크롤링은 아주 좋은 기술이다. 만 흩어져 있다고 덮어놓고 크롤링하다간 큰 코 다친다.. 사이트들의 루트디렉토리에 있는 robots.txt 를 보면 이 사이트에 대해 크롤링을 해도 되는 지를 알 수 있다. 방법. 사이트명에 /robots.txt 를 확인한다. ex) https://www.naver.com/robots.txt 다음과 같은 페이지가 뜬다. 내용은 다음과 같다. 네이버는 모든 봇으로부터 사이트 전체에 대해 크롤링을 허용하지 않는다. 웃대 디씨 오유 ㅋㅋ http://www.robotstxt.org/ 에서 더 자세한 내용을 확인할 수 있다. 하여튼간 Disallow 라고 명시되어있는 디렉토리 및 파일에 대해 크롤링하여 상업목적의 서비스를 할 경우 위험할 ..
IT 2017. 11. 30. 19:28
Prev 1 Next