GEO 기술
robots.txt, llms.txt, Schema 마크업 등 기술적 구현 가이드
좋은 콘텐츠만으로는 부족합니다. AI가 우리 사이트를 "읽을 수 있어야" 합니다.
ChatGPT, Perplexity 같은 AI 서비스들은 자체 크롤러(GPTBot, PerplexityBot 등)를 운영합니다. 이 크롤러들이 우리 사이트에 접근할 수 있는지, 어떤 정보를 가져가는지 설정할 수 있습니다.
이 섹션에서는 robots.txt 설정, llms.txt 작성법, 그리고 AI 크롤러들의 실제 행동 패턴을 다룹니다.
이 섹션에서 배우는 것
- robots.txt로 AI 크롤러 접근 권한 설정하기
- llms.txt: AI에게 우리 사이트를 소개하는 새로운 표준
- AI 크롤러별 행동 패턴과 특성 분석
관련 글 읽기
AI 크롤러의 부상: ChatGPT와 Claude는 어떻게 웹을 읽는가?
ChatGPT와 Claude는 월 12억 건 요청으로 Google의 28% 수준이지만, 404 오류율 34%, JavaScript 미렌더링 등 기술적 한계가 있습니다. Vercel과 Cloudflare 데이터로 본 AI 크롤러의 실체와 웹사이트 최적화 전략을 알아보세요.
robots.txt AI 크롤러 설정: 차단 vs 허용, 전략적 선택
Cloudflare 3,816개 도메인 분석 결과, 14%만 AI 봇 설정. GPTBot 305% 성장, 언론사 48%는 OpenAI 차단. robots.txt로 GPTBot, ClaudeBot, PerplexityBot을 차단/허용하는 방법과 전략적 선택 기준을 데이터 기반으로 정리했습니다.
llms.txt, 도입해야 할까요? 30만 도메인 분석 결과
SE Ranking 30만 도메인 분석 결과, llms.txt와 AI 인용 간 상관관계 없음. Semrush 3개월 실험에서 AI 크롤러 접근 0회. Jeremy Howard 제안서부터 실전 조언까지, 데이터 기반 llms.txt 가이드입니다.
실제 사례가 궁금하다면
GEO 전략이 실제로 어떤 결과를 가져왔는지, 업계 동향은 어떤지 확인하세요.
사례 연구 보기