불안정한 타겟 요청 시 서버 요청 방법

상황 크롤링 작업 시 종종 서버 상태가 응답 속도가 느리거나, 요청에 대한 대답을 못하고 500에러를 내보내는 타켓 서버가 존재한다. 그래서 크롤링 진행 시 요청 시간을 길게 잡고 가야하는데 무턱대고 길게 잡으면 크롤링 작업 시간이 배로 늘어나게 될수있다. 그래서 Exponential backoff 전략을 사용한다. Exponential backoff 자세한 설명이다. Exponential backoff - Wikipedia From Wikipedia, the free encyclopedia Rate-seeking algorithm Look up backoff in Wiktionary, the free dictionary. Exponential backoff is an algorithm that uses..

2023.06.14