crawling project1 [Python] - 크롤링 과정에서 발생하는 IP 차단 문제 사전 해결 크롤링 과정에서 발생하는 IP 차단 문제 사전 해결1. 웹 크롤링 중 차단 발생 원인웹 크롤링을 하다보면 해당 플랫폼에 너무 많은 요청 등의 이유로 IP를 차단 당하게 됩니다.이는 크롤링 시 지켜져야 하는 규칙들이 제대로 설정되지 않아서 발생하기도 합니다.대표적으로 User-Agent나 기타 파라미터가 존재하지 않거나 이상하게 설정되어 있는 요청은 웹 사이트가 Bot으로 판단하여 차단하는 경우입니다.따라서 가장 기본적으로 User-Agent를 Bot처럼 안 보이게 설정해주는 것부터 시작해야 합니다.2. User-Agent 설정User-Agent를 설정하는 방법은 HTTP 요청 헤더에 User-Agent 값을 넣어주는 것입니다. User-Agent 값은 웹 브라우저 혹은 HTTP 클라이언트의 종류와 버전을.. 2025. 3. 4. 이전 1 다음