내 블로그 글, AI 학습 거부할 수 있을까? robots.txt 설정 가이드와 한계

2026년 9월 30일 기준으로 확인한 내용입니다.

내 블로그 글이 생성형 AI 학습에 쓰이지 않게 할 수 있을까요?

완벽하게 막는 단일 스위치는 아직 없습니다. 다만 독립형 워드프레스 사이트라면 robots.txt에 AI 학습용 크롤러를 지정해 거부 의사를 표시할 수 있습니다. 학습용 봇만 막고 AI 검색·인용용 봇은 열어 두는 것도 가능합니다.

2026년 9월 9~10일 서울에서 열린 한일 저작권 정부 간 회의에서도 인공지능과 저작권이 주요 현안으로 논의됐습니다. 이 회의가 새로운 거부권을 곧바로 만든 것은 아니지만, 창작자의 의사 표시와 AI 학습 데이터 이용이 현재 진행형 정책 과제라는 점은 분명합니다.

Table of Contents

📌 핵심만 먼저 보기

학습만 거부할 수 있습니다. GPTBot·ClaudeBot처럼 학습과 관련된 봇만 차단하고, OAI-SearchBot·Claude-SearchBot 같은 AI 검색용 봇은 허용하는 방식입니다.
robots.txt는 요청이지 자물쇠가 아닙니다. 이를 따르는 크롤러에는 효과가 있지만, 접근 권한 자체를 차단하거나 모든 AI 업체를 법적으로 구속하는 장치는 아닙니다.
이미 수집됐거나 학습이 끝난 데이터에는 소급되지 않습니다. 설정 이후의 자동 수집을 줄이는 수단으로 이해해야 합니다.
그래도 의사 표시는 의미가 있습니다. 정부 공정이용 안내서는 robots.txt로 수집을 금지한 저작물을 무단 수집한 경우 공정이용 판단에 불리한 요소가 될 수 있다고 설명합니다.

한국의 AI 학습 거부 논의는 어디까지 왔을까

2026년 한국의 AI 학습 거부 정책 논의와 공정이용 안내서 및 한일 저작권 회의 타임라인 — *옵트아웃 지원 방향 발표부터 공정이용 안내서와 한일 저작권 정부 간 회의까지, 2026년 정책 흐름을 정리했습니다.*

먼저 구분할 것이 있습니다. 정부가 온라인 저작물의 ‘옵트아웃 지원’을 정책 방향으로 제시한 것과, 누구에게나 동일하게 적용되는 법적 거부 절차가 완성된 것은 같은 말이 아닙니다.

2026년 2월 25~26일: 옵트아웃 지원 방향 발표

국가인공지능전략위원회는 2월 25일 제2차 전체회의에서 저작권 과제를 포함한 ‘대한민국 인공지능 행동계획’을 의결했습니다.

이어 2월 26일 정부는 음악·도서·방송처럼 거래 시장이 형성된 저작물은 거래 활성화를 지원하고, 온라인 공개 게시물처럼 거래 시장이 뚜렷하지 않은 저작물은 AI 학습 거부 의사 표시를 지원하겠다는 방향을 밝혔습니다.

일반에 무료로 공개한 블로그 글은 대체로 후자의 논의와 가깝지만, 모든 블로그 글이 법적으로 동일하게 분류된다는 뜻은 아닙니다.

2026년 2월 26일: 공정이용 안내서 발간

문화체육관광부와 한국저작권위원회는 생성형 인공지능의 저작물 학습에 대한 저작권법상 ‘공정이용’ 안내서를 발간했습니다.

안내서는 AI 학습 과정의 데이터 확보·정제·학습 단계에서 저작물의 복제나 변형이 수반될 수 있다고 보고, 공정이용 여부는 목적과 성격, 저작물의 종류, 이용한 양, 시장에 미치는 영향 등을 종합해 사안별로 판단해야 한다고 설명합니다.

특히 접근이 제한됐거나 robots.txt로 수집이 금지된 저작물을 무단으로 수집했다면 공정이용 판단의 첫 번째 요소에서 불리하게 작용할 수 있다고 적었습니다.

그렇다고 robots.txt를 설정하는 순간 모든 AI 학습이 자동으로 위법해지는 것은 아닙니다. 반대로 공개된 글이라고 해서 모든 학습이 자동으로 공정이용이 되는 것도 아닙니다.

2026년 9월 9~10일: 한일 정부 간 논의

문화체육관광부와 일본 문부과학성은 서울에서 저작권 정부 간 회의와 세미나를 열고 인공지능 관련 저작권 현안을 포함한 양국의 최신 정책을 공유했습니다.

현재는 통일된 옵트아웃 표준과 구체적인 법적 효과가 완성됐다기보다, 정부·권리자·AI 사업자 사이에서 제도화 방안을 논의하는 단계로 보는 것이 정확합니다.

robots.txt는 무엇을 할 수 있나

robots.txt는 크롤러에게 보내는 안내문이며 접근을 강제하는 자물쇠가 아니라는 설명 — *robots.txt는 크롤러에게 보내는 공개 안내문입니다. 접근을 강제적으로 차단하는 자물쇠나 인증 수단은 아닙니다.*

robots.txt는 사이트 최상위 주소의 /robots.txt에 두는 텍스트 파일입니다. 자동 크롤러에게 어떤 경로를 방문해도 되는지 알려 주는 ‘출입 안내문’에 가깝습니다.

국제 인터넷 표준인 RFC 9309도 이 규칙이 접근 권한을 부여하거나 차단하는 인증 수단은 아니라고 명시합니다.

즉, 규칙을 준수하는 봇에는 효과가 있지만 악성 수집기나 신원을 속이는 봇까지 막지는 못합니다.

실제 접근 자체를 통제하려면 로그인, 서버 방화벽, 웹 애플리케이션 방화벽(WAF) 같은 별도 수단이 필요합니다.

또 하나의 중요한 차이는 크롤링과 검색 색인은 같지 않다는 점입니다. robots.txt는 페이지 방문을 제어하는 도구입니다. 특정 페이지를 검색 결과에서 빼려면 상황에 따라 noindex 같은 별도 설정이 필요합니다.

robots.txt와 noindex 및 WAF·로그인의 크롤링 검색 제외 접근 차단 역할 비교 — *크롤러 방문 제한은 robots.txt, 검색 결과 제외는 noindex, 실제 접근 차단은 WAF나 로그인을 사용합니다.*

AI 봇은 목적별로 나뉜다

OpenAI Anthropic Google Apple Amazon Perplexity 크롤러를 학습과 검색 및 사용자 요청 용도로 구분한 표 — *주요 AI 사업자의 봇은 학습·데이터 수집, AI 검색·인용, 사용자 요청 용도로 구분됩니다.*

주요 회사는 모델 개발용, AI 검색용, 사용자가 링크를 요청했을 때 가져오는 용도의 봇을 구분해 운영합니다. 그래서 학습용 봇만 차단하고 검색 노출 기회는 남겨 둘 수 있습니다.

운영사	학습·모델 개선 관련	AI 검색·색인	사용자 요청
OpenAI	`GPTBot`	`OAI-SearchBot`	`ChatGPT-User`
Anthropic	`ClaudeBot`	`Claude-SearchBot`	`Claude-User`
Google	`Google-Extended`	`Googlebot`	별도 범용 토큰 없음
Apple	`Applebot-Extended`	`Applebot`	별도 범용 토큰 없음
Amazon	`Amazonbot`	`Amzn-SearchBot`	`Amzn-User`
Perplexity	공개 문서상 별도 학습 봇 없음	`PerplexityBot`	`Perplexity-User`
Common Crawl	`CCBot`으로 공개 웹 데이터셋 수집	별도 검색 봇 없음	해당 없음

Google-Extended와 Applebot-Extended는 웹페이지를 직접 가져오는 별도 크롤러라기보다, 이미 수집된 콘텐츠를 생성형 AI 학습 등에 사용할지 정하는 제어용 토큰입니다. Google은 Google-Extended 차단이 Google 검색 포함 여부나 검색 순위 신호에 영향을 주지 않는다고 밝히고 있습니다.

사용자 요청형 봇은 예외가 있습니다. OpenAI는 ChatGPT-User 요청에 robots.txt가 적용되지 않을 수 있다고 안내하고, Perplexity도 Perplexity-User가 일반적으로 이를 무시한다고 밝힙니다. 반면 Anthropic은 자사의 세 봇이 robots.txt 지시를 준수한다고 안내합니다. 따라서 같은 ‘사용자 요청용’이라도 회사별 정책이 다릅니다.

내게 맞는 설정 고르기

AI 학습만 거부하거나 알려진 AI 전용 봇을 최대한 거부하거나 모두 허용하는 세 가지 선택지 — *검색 노출을 유지하면서 학습만 거부할지, 알려진 AI 전용 봇을 최대한 막을지 선택할 수 있습니다.*

선택 1. AI 학습만 거부하고 검색·인용은 허용

GPTBot ClaudeBot Google-Extended Applebot-Extended Amazonbot 등 학습 관련 크롤러를 차단하는 robots.txt 예시 — *기존 robots.txt 규칙은 유지하면서 학습과 관련된 크롤러 이름을 각각 지정해 차단합니다.*

대부분의 공개 블로그에는 이 방식이 가장 균형적입니다. 학습과 관련된 봇은 차단하되 ChatGPT, Claude, Perplexity의 검색용 봇은 별도로 막지 않습니다. 아래 묶음을 현재 robots.txt의 기존 규칙 위에 추가하세요.

# AI 학습 및 학습에 활용될 수 있는 데이터 수집 거부
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Bytespider
Disallow: /

CCBot은 Common Crawl의 공개 웹 데이터셋 수집기입니다. Common Crawl 자체가 특정 생성형 AI 서비스는 아니지만, 공개 데이터셋이 다양한 연구와 모델 개발에 활용될 수 있어 함께 차단하는 운영자가 많습니다. meta-externalagent와 Bytespider는 Cloudflare의 관리형 AI 크롤러 차단 목록에도 포함돼 있습니다.

기존에 들어 있던 User-agent: * 규칙과 사이트맵 주소는 지우지 마세요. 워드프레스 기본 규칙은 보통 다음과 비슷하지만, 사이트마다 다를 수 있으므로 현재 표시되는 값을 그대로 유지하는 것이 안전합니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: 현재 사이트에 표시된 주소 유지

선택 2. 알려진 AI 검색·사용자 요청 봇까지 최대한 거부

AI 답변에서 내 글이 검색되거나 인용되는 것까지 원하지 않는다면 아래 묶음도 추가할 수 있습니다. 다만 AI 검색을 통한 방문 기회가 줄고, 사용자 요청형 봇은 회사 정책상 robots.txt를 따르지 않을 수도 있습니다.

# AI 검색·색인 및 사용자 요청용 봇 거부
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Amzn-SearchBot
User-agent: Amzn-User
Disallow: /

이 설정도 ‘모든 AI 접근 차단’을 보장하지는 않습니다. 특히 Google의 AI 개요와 AI 모드는 일반 Google 검색 색인을 바탕으로 작동합니다. Google 검색 노출을 유지하면서 Google의 AI 검색 기능만 robots.txt로 따로 제외하는 방법은 현재 제공되지 않습니다.

선택 3. 전체 크롤러 허용

아무런 개별 차단 규칙이 없으면 각 봇은 User-agent: *에 적힌 공통 규칙을 따릅니다. 검색과 AI 인용 기회를 넓게 유지할 수 있지만, 학습 거부 의사를 봇별로 남기지는 못합니다.

절대 실수하면 안 되는 설정

모든 검색봇 또는 Googlebot 전체를 막는 잘못된 robots.txt 설정 예시 — *모든 크롤러나 Googlebot 전체를 막으면 AI뿐 아니라 일반 검색 노출에도 문제가 생길 수 있습니다.*

User-agent: *
Disallow: /

이 두 줄은 AI뿐 아니라 Googlebot과 네이버 검색로봇을 포함한 모든 준수 크롤러의 사이트 전체 방문을 막습니다. 검색 노출을 유지하려는 공개 블로그라면 사용하지 마세요.

Google의 AI 개요에서만 빠지기 위해 Googlebot을 막는 것도 권하지 않습니다. Google 문서에 따르면 Googlebot 설정은 Google 검색과 Discover를 포함한 검색 기능 전반에 영향을 줍니다. 학습·Gemini 활용만 거부하려는 목적이라면 Google-Extended를 사용해야 합니다.

Content-Signal을 함께 쓸까

Content-Signal의 search yes ai-train no use reference 의미와 한계 — *Content-Signal로 검색 허용과 AI 학습 거부 의사를 표시할 수 있지만, 개별 봇의 Disallow 규칙을 대체하지는 않습니다.*

Cloudflare는 2025년 9월 콘텐츠의 용도를 표현하는 ‘Content Signals Policy’를 공개했습니다. 2026년 현재 Cloudflare 관리형 설정은 검색을 허용하고 학습을 거부한다는 뜻으로 다음과 같은 지시를 사용할 수 있습니다.

User-agent: *
Content-Signal: search=yes, ai-train=no, use=reference

search=yes는 검색 색인과 링크 제공을, ai-train=no는 AI 모델 훈련·미세조정 거부를 뜻합니다. use=reference는 보관·색인·인용은 허용하되 더 넓은 재사용은 제한한다는 취지입니다.

다만 Content-Signal은 RFC 9309의 표준 지시어가 아니며 모든 크롤러가 지원하는 것도 아닙니다. 따라서 개별 봇의 Disallow 규칙을 대체하기보다 의사 표시를 보강하는 선택 사항으로 보는 편이 안전합니다. Google Search Console에서 ‘이해하지 못한 문법’ 경고가 나타날 수 있으나, Cloudflare는 이 경고가 기존 크롤링 규칙을 방해하지는 않는다고 안내합니다.

워드프레스 robots.txt 적용 방법

워드프레스에서 robots.txt를 확인하고 편집하고 검증하는 다섯 단계 — *현재 파일을 확인하고 규칙을 추가한 뒤 검색엔진 설정과 공개 주소를 검증하는 순서입니다.*

1. 현재 제공 중인 파일 확인

주소창에서 https://내도메인/robots.txt를 엽니다. 내용을 먼저 복사해 별도로 보관하세요. 워드프레스는 실제 파일이 없어도 기본 내용을 동적으로 만들어 보여 줄 수 있습니다.

2. 편집 위치 확인

사이트 구성에 따라 편집 위치가 다릅니다.

SEO 또는 robots 관리 플러그인의 파일 편집 기능
호스팅 파일 관리자의 사이트 최상위 폴더
FTP·SFTP로 접근한 사이트 최상위 폴더
Cloudflare의 관리형 robots.txt 기능

실제 robots.txt 파일이 사이트 루트에 있으면 워드프레스가 만드는 가상 파일보다 우선할 수 있습니다. 플러그인·호스팅·CDN이 동시에 파일을 생성하면 관리 화면의 내용과 방문자에게 실제로 보이는 내용이 다를 수 있으므로, 저장 후 공개 주소에서 최종 결과를 다시 확인해야 합니다.

3. 기존 규칙 위에 필요한 묶음 추가

‘학습만 거부’가 목적이라면 선택 1의 코드만 기존 내용 위에 붙입니다. 기존의 User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php, Sitemap: 줄은 유지하세요.

4. 검색엔진 공개 설정 확인

워드프레스 관리자 화면의 설정 → 읽기 → 검색 엔진 가시성에서 ‘검색 엔진이 이 사이트를 검색하지 못하도록 합니다’가 선택돼 있지 않은지 확인합니다. 공개 블로그라면 이 항목이 선택돼 있을 때 검색 노출 전반이 제한될 수 있습니다.

5. 저장 후 검증

시크릿 창에서 https://내도메인/robots.txt를 다시 엽니다.
추가한 봇 이름과 Disallow: /가 정확히 보이는지 확인합니다.
User-agent: * 아래에 사이트 전체를 막는 Disallow: /가 없는지 확인합니다.
Google Search Console의 robots.txt 보고서에서 구문 오류와 가져오기 상태를 확인합니다.
Google 검색이 중요한 글은 URL 검사 도구로 Googlebot의 접근 가능 여부도 확인합니다.

OpenAI와 Perplexity는 robots.txt 변경 반영에 최대 약 24시간이 걸릴 수 있다고 안내합니다. 다른 회사는 재방문 주기가 다를 수 있으므로 저장 즉시 모든 봇의 동작이 바뀐다고 단정하면 안 됩니다.

Cloudflare를 함께 사용한다면

Cloudflare의 ‘AI 크롤러 관리’와 관리형 robots.txt는 서로 다른 층에서 작동할 수 있습니다. 관리형 파일은 규칙과 Content Signal을 응답에 추가하고, WAF 차단은 실제 요청을 서버 앞단에서 거부할 수 있습니다.

따라서 워드프레스 편집 화면만 보지 말고 외부에서 실제로 제공되는 /robots.txt를 기준으로 확인하세요. 의도하지 않은 중복 규칙이 있는지, 검색용 봇까지 WAF에서 막히지 않았는지도 함께 점검해야 합니다.

내 블로그에서도 직접 설정할 수 있을까

워드프레스를 별도의 호스팅 서버에 설치해 운영하는 ‘독립형 워드프레스’라면 운영자가 robots.txt를 직접 수정할 수 있습니다. 호스팅 서비스를 따로 이용하고 있으며 플러그인이나 서버 파일을 관리할 수 있다면 대체로 여기에 해당합니다.

반면 네이버 블로그·티스토리·WordPress.com처럼 플랫폼이 서버를 관리하는 서비스는 이용자가 robots.txt를 직접 수정하기 어렵거나, 플랫폼 정책에 따라 설정 가능 범위가 달라집니다. 개인 도메인을 사용한다고 반드시 독립형인 것은 아니므로, 별도의 호스팅을 이용하는지를 기준으로 구분하는 것이 가장 쉽습니다.

robots.txt의 여섯 가지 한계

1. 접근 통제 장치가 아니다

선의의 크롤러가 지키는 공개 지침입니다. 악성 수집기, 이름을 속인 봇, 브라우저처럼 접근하는 자동화 도구에는 효과가 없을 수 있습니다.

2. 이미 수집된 데이터에는 소급되지 않는다

설정 전에 수집된 글, 공개 데이터셋에 들어간 복사본, 이미 학습이 끝난 모델에서 콘텐츠를 자동으로 삭제하지는 못합니다.

3. 사용자 요청형 봇은 예외가 있을 수 있다

일부 회사는 사용자가 특정 링크를 열어 달라고 요청한 경우 일반적인 자동 크롤링과 다르게 처리합니다. 모든 AI가 글을 읽지 못하게 됐다고 생각해서는 안 됩니다.

4. Google AI 검색만 따로 차단하기 어렵다

Google-Extended는 Gemini 모델 학습과 일부 그라운딩 이용을 제어하지만 Google 검색의 AI 개요·AI 모드는 일반 검색 색인에 의존합니다. Googlebot을 막으면 AI 기능뿐 아니라 일반 검색 노출도 함께 영향을 받습니다.

5. 봇 이름과 정책은 바뀐다

새로운 봇이 추가되거나 기존 역할이 달라질 수 있습니다. 최소 분기마다 주요 운영사의 공식 크롤러 문서와 실제 접속 기록을 확인하는 편이 좋습니다.

6. 크롤링 차단과 검색 제외는 다르다

다른 페이지가 URL을 링크하면, 본문을 읽지 못한 검색엔진도 주소만 검색 결과에 표시할 수 있습니다. 검색 결과에서의 완전한 제외가 목적이라면 robots.txt가 아니라 noindex, 인증, 삭제 요청 등 목적에 맞는 방법을 검토해야 합니다.

한계가 있어도 설정할 이유

첫째, 주요 AI 사업자가 공식적으로 제공하는 선택 수단입니다. 둘째, 검색 노출과 학습 거부를 목적별로 나눌 수 있습니다. 셋째, 한국 정부 안내서도 robots.txt에 표시된 수집 제한을 공정이용 판단과 관련된 요소로 언급합니다.

다만 나중에 의사 표시 시점을 입증할 필요가 있다면 파일을 설정하는 데서 끝내지 말고 변경 날짜, 설정 사본, 화면 캡처, 서버 기록을 함께 보관하는 편이 좋습니다. robots.txt 한 줄만으로 특정 분쟁의 결론이 정해지는 것은 아닙니다.

설정 후 체크리스트

공개 주소의 /robots.txt에서 변경 내용이 보인다.
User-agent: * 아래에 의도하지 않은 Disallow: /가 없다.
Googlebot과 네이버 검색로봇을 실수로 막지 않았다.
기존 사이트맵 주소를 삭제하거나 바꾸지 않았다.
Google Search Console에서 파일 가져오기 상태와 구문 오류를 확인했다.
Cloudflare나 보안 플러그인의 실제 차단 규칙도 확인했다.
변경 날짜와 설정 사본을 보관했다.
분기마다 주요 봇 목록과 운영사 정책을 다시 확인한다.

자주 묻는 질문

AI 학습용 봇을 막으면 Google 검색 순위가 떨어지나요?

GPTBot·ClaudeBot·Google-Extended처럼 학습과 관련된 토큰만 정확히 차단했다면 Google 검색 순위가 직접 떨어질 이유는 없습니다. Google은 Google-Extended 설정이 검색 포함 여부나 순위 신호에 영향을 주지 않는다고 명시합니다. 다만 Googlebot이나 User-agent: *를 잘못 차단하면 일반 검색 노출에 문제가 생길 수 있습니다.

이미 학습된 내 글을 빼 달라고 할 수 있나요?

robots.txt는 언제부터 효과가 있나요?

각 봇이 파일을 다시 확인한 뒤부터입니다. OpenAI와 Perplexity는 변경 반영에 최대 약 24시간이 걸릴 수 있다고 안내하지만, 크롤러마다 주기가 다릅니다. 이미 수집한 자료에는 소급되지 않습니다.

글 한 편만 AI 학습에서 제외할 수도 있나요?

독립형 사이트라면 해당 글의 경로만 Disallow하도록 지정할 수 있습니다. 다만 주소 구조를 잘못 쓰면 같은 경로의 다른 글까지 막을 수 있고, 회사별 봇 정책도 다르므로 적용 후 실제 URL을 반드시 검사해야 합니다.

저작권 시리즈 함께 보기

📌 참고 자료

이 글은 공개 자료를 바탕으로 작성한 일반 정보이며 법률 자문이 아닙니다. 크롤러 이름과 운영 정책은 바뀔 수 있으므로 설정 전 각 회사의 공식 안내를 다시 확인하시기 바랍니다.

내 블로그 글, AI 학습 거부할 수 있을까? robots.txt 설정법과 한계