← 전체 글
#caching
글 2개
-
키워드 발굴 25초를 0.2초로 — 검색창 자동완성을 프로덕션에 넣기까지
지식iN 질문에서 키워드 조각을 캐내 LLM 두 번으로 정제하던 경로를 구글·네이버 자동완성 호출로 바꿨습니다. 버튼을 누르고 목록이 뜨기까지 25.1초 걸리던 게 0.2초가 됐고 LLM 호출은 사라졌습니다. 구글이 2015년에 쓰지 말라고 공지한 엔드포인트라, 성능보다 먼저 확인할 게 있었습니다.
-
프로덕션에서 QPS를 10배로: 실제로 효과가 있는 3가지 전략
"더 빠르게 만들어라"는 막연해 보이지만 아닙니다. 결국 같은 세 가지 수로 수렴합니다 — 캐싱, 데이터베이스 최적화, 그리고 요청에서 부수적인 일을 들어내기.
