extractor 링크 추출 처리 기한 추가 #117

왜

core 가 끊은 요청을 extractor 가 계속 처리함

• core 는 55초에 읽기를 끊고 일시 실패로 보고 다시 요청함
• extractor 는 호출자가 끊은 것을 모르고 끝까지 처리함
  • 최악 경로(fetch, LLM, 헤드리스 렌더, LLM)는 수 분까지 감
• 결과: 같은 링크의 첫 요청과 재요청이 겹침
  • renderer 는 동시 렌더가 1개라 첫 요청의 렌더가 재요청의 렌더를 막음
  • 아무도 받지 않는 LLM 호출 비용이 생김
• 지금 부하에서는 13일간 최대 19초라 발생 0건. 사용자가 몰려 렌더 대기가 길어질 때의 위험

무엇을

링크 추출에 처리 기한 추가

• 호출자 타임아웃에서 여유를 뺀 기한을 요청마다 잡음
• 기한 안에 못 끝낼 렌더·LLM 단계는 시작하지 않고 일시 실패로 응답