llms.txt란 무엇인가요?

llms.txt는 웹사이트 루트 디렉토리(example.com/llms.txt)에 두는 텍스트 파일로, AI 크롤러에게 사이트 구조와 주요 페이지를 소개하는 역할을 합니다. robots.txt가 크롤링 규칙을 정의한다면, llms.txt는 AI가 사이트를 더 잘 이해하도록 요약 정보를 제공합니다. 2024년 9월 Jeremy Howard가 제안했습니다.

llms.txt를 만들면 AI 검색 노출이 증가하나요?

SE Ranking이 30만 개 도메인을 분석한 결과, llms.txt 존재 여부와 AI 인용 빈도 간에 통계적으로 유의미한 상관관계가 없었습니다. 머신러닝 모델에서 llms.txt 변수를 제거하자 오히려 예측 정확도가 향상됐습니다. 현재로서는 효과가 검증되지 않았습니다.

GPTbot이나 ClaudeBot 같은 AI 크롤러가 llms.txt를 읽나요?

Semrush가 Search Engine Land에 llms.txt를 구현하고 3개월간 서버 로그를 분석한 결과, GPTbot, ClaudeBot, PerplexityBot 등 주요 AI 크롤러가 단 한 번도 llms.txt 파일에 접근하지 않았습니다. 현재로서는 AI 크롤러가 llms.txt를 적극적으로 활용한다는 증거가 없습니다.

llms.txt를 사용하는 기업은 얼마나 되나요?

Semrush 조사 기준 전 세계에서 llms.txt를 구현한 도메인은 951개에 불과합니다. SE Ranking 30만 도메인 분석에서는 10.13%만 도입했으며, 트래픽 수준과 무관하게 도입률이 낮았습니다. Anthropic이 지지를 표명했음에도 확산 속도는 느립니다.

llms.txt 기본 구조는 어떻게 되나요?

H1으로 프로젝트명, 블록쿼트로 한 줄 요약, H2 섹션별로 주요 페이지 링크를 나열합니다. 예: # 프로젝트명 > 간단한 소개 ## 섹션 1 - [페이지](URL). GitHub 저장소(answerdotai/llms-txt)에 공식 스펙이 있습니다.

llms.txt가 효과 없는 이유는 무엇인가요?

첫째, AI 크롤러가 아직 llms.txt를 적극적으로 읽지 않습니다. 둘째, 최신 LLM은 HTML 파싱 능력이 뛰어나 Schema.org 마크업만으로도 충분히 이해합니다. 셋째, llms.txt는 아직 표준화되지 않아 각 AI 크롤러가 처리 방법이 다릅니다.

그럼에도 llms.txt를 만들어야 하는 경우가 있나요?

문서 사이트, API 레퍼런스, 개발자 도구처럼 구조화된 정보 제공이 핵심인 사이트는 고려해볼 수 있습니다. Mintlify는 Anthropic의 직접 요청으로 구현했고, Zapier, Hugging Face, Cloudflare도 도입했습니다. 하지만 일반 기업 홈페이지나 블로그에서는 우선순위가 낮습니다.

llms.txt 대신 무엇을 해야 하나요?

첫째, 서버 로그를 모니터링하여 AI 크롤러(GPTbot, ClaudeBot) 접근 패턴을 확인하세요. 둘째, Schema.org 마크업(Product, Article, FAQ)을 우선 구현하세요. 셋째, Fact-Dense Content와 Prompt Mapping 같은 검증된 GEO 전략에 집중하세요. llms.txt는 AI 크롤러 접근이 늘어난 후 고려해도 늦지 않습니다.

AI 크롤러 접근 여부는 어떻게 확인하나요?

웹 서버 로그에서 User-Agent 필드를 검색하세요. GPTbot, ClaudeBot, PerplexityBot, Google-Extended 같은 이름이 보이면 AI 크롤러가 방문한 것입니다. 접근 빈도가 높아지면 그때 llms.txt 구현을 검토하는 것이 합리적입니다.

Vercel은 llms.txt를 사용하나요?

Vercel은 신규 가입의 10%가 ChatGPT 추천에서 발생한다고 밝혔지만, 이것이 llms.txt 때문인지는 명확하지 않습니다. Vercel의 성공은 고품질 문서, Schema 마크업, 개발자 커뮤니티 활동 등 여러 요인의 결과일 가능성이 큽니다.

llms.txt, 도입해야 할까요? 30만 도메인 분석 결과

ChatGPT나 Perplexity에게 우리 회사를 더 잘 알려주는 방법이 있다면 어떨까요? llms.txt는 바로 그런 목적으로 만들어진 파일입니다. 회사 소개서를 AI 전용으로 만들어서 웹사이트에 올려두는 거죠.

2024년 9월, AI 연구자 Jeremy Howard가 이 아이디어를 제안했습니다. Claude를 만든 Anthropic도 "좋은 생각이다"라며 지지했고, SEO 업계에서 화제가 됐습니다. 그런데 정말 효과가 있을까요?

SE Ranking이라는 회사가 30만 개 웹사이트를 조사해봤습니다. 결과는 실망스러웠어요. llms.txt 파일이 있는 사이트나 없는 사이트나, AI가 추천하는 빈도에 차이가 없었습니다.

이 글에서는 llms.txt가 뭔지 쉽게 설명하고, 왜 아직은 효과가 없는지, 그리고 지금 우리가 뭘 해야 하고 뭘 안 해도 되는지 정리해드립니다.

핵심 요약

llms.txt는 AI에게 우리 사이트를 소개하는 안내문 같은 파일이에요
하지만 30만 개 사이트 분석 결과, 이 파일이 있든 없든 AI 추천에 차이가 없었어요
지금 당장 만들 필요 없어요. 나중에 상황 바뀌면 그때 해도 늦지 않아요

llms.txt가 뭔가요?

AI를 위한 회사 소개서예요. 웹사이트 주소 뒤에 /llms.txt를 붙여서 올려두면, AI가 우리 사이트에 왔을 때 "이 회사는 뭐하는 곳이구나"라고 이해할 수 있게 해주는 파일이에요.

우리 웹사이트에 방문하는 건 사람만이 아닙니다. ChatGPT, Perplexity, Claude 같은 AI도 웹사이트를 돌아다니며 정보를 수집합니다. 이때 AI가 "이 회사는 뭐하는 곳이지?"라고 궁금해할 때 읽어볼 수 있도록 만들어둔 파일이 llms.txt예요.

예를 들어, 우리 회사 웹사이트 주소가 example.com이라면, example.com/llms.txt에 이 파일을 올려둡니다. AI가 우리 사이트에 왔을 때 이 파일을 보고 "아, 이 회사는 이런 서비스를 하고, 중요한 페이지는 여기 있구나"라고 이해하길 바라는 거죠.

어떻게 생겼나요?

아주 단순한 텍스트 파일입니다. 이런 식으로 생겼어요.

# 우리회사 이름

> 한 줄로 설명하면 이런 회사입니다

## 주요 페이지
- [서비스 소개](https://example.com/services)
- [가격 안내](https://example.com/pricing)
- [고객 사례](https://example.com/cases)

## 연락처
- 이메일: hello@example.com

복잡한 기술이 필요 없습니다. 메모장으로도 만들 수 있어요. 회사 소개서를 간단히 정리해서 올려두는 것뿐입니다.

그런데 효과가 있나요?

현재까지 데이터로는 효과가 없어요. SE Ranking이 30만 개 사이트를 조사했는데, llms.txt가 있든 없든 AI 추천 빈도에 차이가 없었어요.

구체적인 조사 결과를 볼까요?

조사 항목	결과
llms.txt 만든 사이트 비율	10% (30만 개 중 3만 개)
llms.txt 있는 사이트가 AI 추천 더 많이 받나?	아니오. 차이 없음
대기업들은 많이 쓰나?	아니오. 대기업이나 중소기업이나 비슷

← 좌우로 스크롤하여 전체 내용을 확인하세요 →

결론은 간단해요. llms.txt가 있든 없든, AI가 그 사이트를 추천하는 빈도는 똑같았습니다.

핵심 포인트

llms.txt가 있든 없든, AI가 우리 회사를 추천하는 빈도는 똑같았습니다. AI 추천에 영향을 주는 건 다른 요인들이었어요.

AI가 이 파일을 읽기는 하나요?

Semrush가 3개월간 확인해봤는데, AI 봇이 llms.txt를 읽어간 횟수는 0번이었어요. 블로그 글은 읽어가면서 llms.txt는 그냥 지나쳤어요. 전 세계적으로도 이 파일을 만든 사이트는 951개뿐이에요.

SEO 분석 도구로 유명한 Semrush가 자기네 웹사이트에 llms.txt를 만들어서 올려놓고, 3개월 동안 지켜봤습니다. ChatGPT의 봇(GPTbot)이나 Claude의 봇(ClaudeBot)이 이 파일을 읽어가는지 확인한 거예요.

3개월 관찰 결과

AI 봇이 llms.txt를 읽어간 횟수: 0번

3개월 동안 단 한 번도 읽어가지 않았습니다. AI 봇들은 블로그 글이나 다른 페이지는 방문했지만, llms.txt 파일은 그냥 지나쳤어요.

저희도 마찬가지예요

NOVA 웹사이트에도 llms.txt를 만들어뒀습니다. 그리고 AI 봇 방문 기록을 추적하고 있어요. 결과는 똑같습니다. AI 봇들이 블로그 글은 읽어가면서, llms.txt는 건너뜁니다.

전 세계적으로도 거의 안 씀

Semrush 조사 기준, 전 세계에서 llms.txt를 만든 웹사이트는 딱 951개뿐이었습니다. Anthropic이 "좋은 아이디어다"라고 했는데도 이렇게 적은 이유는, 실제로 효과를 본 사람이 없기 때문일 거예요.

그래도 쓰는 회사들이 있나요?

네, 있어요. Anthropic, Vercel, Cursor, Cloudflare 같은 개발자 도구 회사들이 쓰고 있어요. 공통점은 전부 개발자용 문서 사이트를 운영한다는 거예요. 일반 기업 홈페이지라면 우선순위가 낮아요.

예를 들어, Claude를 만든 Anthropic은 자기네 문서 사이트에 llms.txt를 올려뒀습니다. Vercel, Cursor, Cloudflare 같은 개발자 도구 회사들도 마찬가지고요.

이 회사들의 공통점이 있습니다. 전부 개발자용 문서 사이트를 운영해요. 일반 회사 홈페이지가 아니라, API 설명서나 기술 문서처럼 정보가 체계적으로 정리된 사이트들이죠.

우리 회사도 만들어야 할까?

개발자용 문서 사이트를 운영하는 게 아니라면, 지금 당장은 필요 없습니다. 일반 기업 홈페이지나 쇼핑몰에는 우선순위가 낮아요.

왜 효과가 없을까요?

AI 회사들이 공식적으로 "llms.txt를 참고합니다"라고 발표한 적이 없어요. 한 연구자가 "이렇게 하면 좋겠다"고 제안한 것뿐이에요. robots.txt처럼 30년 역사의 표준도 아니고요.

AI 회사들이 공식적으로 쓴다고 한 적 없음

OpenAI(ChatGPT 만든 회사)나 Anthropic(Claude 만든 회사)이 "우리는 llms.txt를 참고합니다"라고 공식 발표한 적이 없습니다. 한 연구자가 "이렇게 하면 좋겠다"라고 제안한 것뿐이에요.

아직 업계 표준이 아님

비슷한 파일인 robots.txt는 1994년부터 모든 검색 엔진이 따르는 표준입니다. 30년 역사가 있어요. 반면 llms.txt는 2024년에 나온 아이디어일 뿐, 아직 아무도 공식적으로 따르겠다고 한 적 없습니다.

그래서 지금 뭘 해야 하나요?

llms.txt 급하게 만들 필요 없어요. 효과가 검증되지 않았거든요. 대신 개념만 알아두고, 나중에 AI 회사들이 공식 지원한다고 발표하면 그때 만들면 돼요. 지금은 콘텐츠 품질에 집중하는 게 훨씬 효과적이에요.

안 해도 되는 것

llms.txt 급하게 만들기: 30만 개 사이트 조사 결과, 효과 없었습니다. 서두를 필요 없어요.
외부 업체에 돈 주고 맡기기: "llms.txt 최적화해드립니다"라고 하는 업체가 있다면, 효과가 검증되지 않은 서비스에 돈 쓰는 겁니다.
llms.txt가 AI 마케팅의 핵심이라고 믿기: AI가 우리 회사를 추천하게 만드는 건 다른 요인들입니다. 콘텐츠 품질, 회사 신뢰도, 온라인상의 평판 같은 것들이요.

해도 되는 것

개념만 알아두기: 나중에 AI 회사들이 "llms.txt 공식 지원합니다"라고 발표하면 그때 만들어도 돼요. 미리 알아두면 빠르게 대응할 수 있습니다.
검증된 방법에 집중하기: AI 추천을 늘리고 싶다면, GEO 최적화 실무 가이드에서 소개한 방법들이 더 효과적입니다. 구체적인 숫자와 데이터가 담긴 콘텐츠를 만드는 게 우선이에요.

핵심만 정리하면요

llms.txt는 아이디어는 좋지만 현재 효과가 없어요. 30만 개 사이트 조사에서 차이가 없었고, AI 봇들이 이 파일을 읽어가지도 않아요. AI 회사들이 공식 지원한다고 발표한 적도 없고요.

그래서 지금 뭘 해야 하냐면요? 만들 필요 없어요. 나중에 공식 지원 발표되면 그때 만들어도 늦지 않아요. 지금은 콘텐츠 품질을 높이는 데 집중하는 게 훨씬 효과적이에요.

궁금한 점이나 협업 제안이 있으신가요?

NOVA는 AI 검색 노출 연구 프로젝트입니다.
GEO 전략에 대해 궁금한 점이 있으시면 편하게 연락주세요.

문의하기