AI 봇을 내 병원 홈페이지가 막고 있다? (클로드 봇 편)

문서가 요구하는 조건은 ClaudeBot·Claude-User·Claude-SearchBot 세 가지 봇의 접근 여부를 robots.txt로 병원이 직접 선택하는 것입니다. 그런데 메디스펙 분석에서 전국 병원 홈페이지 8,808곳 가운데 36.8%는 애초에 열리지 않았고, 열린 곳 중 3.3%는 검색 봇으로 접속했을 때 차단 응답을 돌려줬습니다(2026년 9월 7일).

원문 · Anthropic ↗요약최종 확인 2026.09.08마크다운 판

클로드 답변에 병원이 나오는 조건이란, 병원 홈페이지가 열려서 콘텐츠를 읽을 수 있어야 하고, robots.txt에서 Claude-User·Claude-SearchBot 접근을 막지 않아야 하며, 그 안에 진료시간·주소 같은 정보가 실제 텍스트로 담겨 있어야 한다는 것입니다. 이 세 조건 중 하나라도 어긋나면 이용자가 클로드에 질문해도 그 병원 홈페이지는 답변에 인용될 기회 자체를 얻지 못합니다.

조건 × 한국 병원 실태 × 병원이 할 일

1ClaudeBot이 모델 학습용으로 콘텐츠를 수집할 수 있어야 한다

문서Anthropic 문서의 ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content 항목에 해당합니다. 원문 ↗

분석이 항목은 메디스펙이 따로 분석하지 않았습니다.

병원robots.txt에서 ClaudeBot 차단 여부 확인.

2Claude-User가 이용자 질문에 응답하려 홈페이지를 열 수 있어야 한다

문서Anthropic 문서의 Claude-User supports Claude AI users... it may access websites using a Claude-User agent 항목에 해당합니다. 원문 ↗

분석메디스펙 분석에서는 전국 병원 홈페이지 8,808곳 조사에서 36.8%는 열리지 않았습니다.

병원홈페이지가 정상적으로 열리는지 주기적으로 점검.

3Claude-SearchBot이 검색 품질 향상을 위해 콘텐츠를 색인할 수 있어야 한다

문서Anthropic 문서의 Claude-SearchBot navigates the web to improve search result quality for users 항목에 해당합니다. 원문 ↗

분석메디스펙 분석에서는 열린 홈페이지 중 3.3%는 검색 봇으로 접속했을 때 차단 응답을 돌려줬습니다.

병원검색 봇 접속 시 차단 응답이 나오지 않는지 확인.

4홈페이지 안에 병원 정보가 실제 텍스트로 담겨 있어야 한다

문서Anthropic 문서의 문서에 없음(참고: 병원 조사 수치) 항목에 해당합니다. 원문 ↗

분석메디스펙 분석에서는 열린 곳 중 23.2%는 본문 텍스트가 200자 미만이었습니다.

병원진료시간·주소 등을 이미지 대신 텍스트로 등록.

분석 원자료 CSV · 조사 방법 · 홈페이지 스캔 2026-09-07 재실시 · 분류 기준은 조사 방법

그래서 병원은 · 지금 확인할 5가지

robots.txt에서 ClaudeBot, Claude-User, Claude-SearchBot 허용 여부를 확인한다
홈페이지가 정상적으로 열리는지, 도메인 오류나 인증서 오류가 없는지 점검한다
검색 봇으로 접속했을 때 차단 응답이 돌아오지 않는지 확인한다
진료시간 등 핵심 정보가 이미지가 아닌 텍스트로 담겨 있는지 확인한다
서브도메인(예약·블로그 등)마다 robots.txt 설정이 따로 적용되는지 확인한다

근거 · 문서가 말한 것과 절별 해설 2

앤트로픽은 목적이 다른 세 개의 봇을 운영하며 병원은 이를 구분해 허용 여부를 정할 수 있습니다.

원문 절 · 본문(봇 종류와 역할)

문서는 앤트로픽이 모델 개발을 위해 웹 데이터를 수집하고, 웹을 검색하고, 이용자 요청에 따라 콘텐츠를 가져오기 위해 여러 봇을 사용한다고 설명합니다. ClaudeBot은 모델 학습용 데이터 수집, Claude-User는 이용자가 클로드에 질문했을 때의 실시간 열람, Claude-SearchBot은 검색 결과 품질 향상을 위한 분석을 맡습니다.

각 봇을 막으면 어떤 일이 생기는지도 구분해 설명하는데, Claude-User를 막으면 이용자 질문에 대한 응답에서 그 사이트 콘텐츠를 가져오지 못해 이용자 대상 웹 검색에서 노출이 줄어들 수 있고, Claude-SearchBot을 막으면 검색 최적화를 위한 색인에서 빠져 검색 결과의 노출과 정확도가 떨어질 수 있다고 밝힙니다.

봇 이름	역할	차단 시 영향
ClaudeBot	모델 학습용 콘텐츠 수집	미래 콘텐츠가 학습 데이터셋에서 제외됨
Claude-User	이용자 질문 시 실시간 열람	이용자 질문 응답에서 콘텐츠 조회 불가
Claude-SearchBot	검색 결과 품질 향상용 분석	검색 색인에서 제외되어 노출·정확도 저하

문서가 말한 것 · 원문 인용 (영문)
“Disabling Claude-User on your site prevents our system from retrieving your content in response to a user query, which may reduce your site's visibility for user-directed web search.”
Anthropic

앤트로픽은 수집이 투명하고 방해가 적어야 한다는 원칙을 지키며, 차단은 robots.txt 수정으로만 확실하게 작동합니다.

원문 절 · 본문(수집 원칙과 차단 방법)

문서는 데이터 수집이 투명해야 하고, 같은 도메인을 얼마나 빨리 반복해서 크롤링할지 신중히 조절해 방해를 최소화하며, robots.txt의 crawl-delay를 존중한다고 밝힙니다. 봇은 robots.txt의 차단 지시를 따르고, 캡차 같은 우회 방지 기술도 우회하지 않는다고 설명합니다.

전체 사이트에서 특정 봇을 막으려면 최상위 디렉터리의 robots.txt에 Disallow 규칙을 추가해야 하며, 서브도메인마다 별도로 적용해야 한다고 안내합니다. IP 주소를 막는 방식은 robots.txt를 읽는 것 자체를 방해해 차단이 제대로 작동하지 않을 수 있다고 문서는 경고합니다.

인용 안내

인용 표기메디스펙 데이터랩, 「AI 봇을 내 병원 홈페이지가 막고 있다? (클로드 봇 편)」, 2026.09.08 확인, https://medi-spec.com/datalab/rules/anthropic/claude-crawlers
분석 수치는 CC BY 4.0으로 출처 표기 시 자유롭게 인용할 수 있다. 원문 인용 부분의 저작권은 Anthropic에 있다.

최종 확인 2026.09.08원문 보기 ↗마크다운 판

자주 묻는 질문 11

클로드 봇이 우리 병원 홈페이지를 크롤링하는지 어떻게 아나요

문서에 따르면 앤트로픽은 ClaudeBot, Claude-User, Claude-SearchBot 세 종류의 봇을 운영하며, 접근 여부는 robots.txt 설정에 따라 결정됩니다. robots.txt 파일을 열어 User-agent별 Disallow 규칙이 있는지 확인하면 됩니다.

robots.txt에서 클로드 봇을 차단하면 어떻게 되나요

ClaudeBot을 막으면 이후 콘텐츠가 모델 학습 데이터셋에서 제외되고, Claude-User를 막으면 이용자가 질문했을 때 홈페이지 콘텐츠를 가져오지 못해 노출이 줄어들 수 있습니다. Claude-SearchBot을 막으면 검색 색인에서 빠져 검색 결과의 노출과 정확도가 떨어질 수 있다고 문서는 설명합니다.

IP 주소만 차단하면 클로드 봇을 막을 수 있나요

문서는 IP 주소 차단이 robots.txt를 읽는 것 자체를 방해해 차단이 제대로 작동하지 않거나 지속적으로 보장되지 않을 수 있다고 밝힙니다. 확실한 차단 방법은 robots.txt에 User-agent와 Disallow를 명시하는 것입니다.

우리 병원 홈페이지가 클로드 답변에 안 나오는 이유가 뭘까요

robots.txt에서 Claude-User나 Claude-SearchBot을 차단하고 있는지 먼저 확인해야 합니다. 다만 메디스펙 분석에서 전국 병원 홈페이지 8,808곳 중 36.8%는 아예 열리지 않았고, 3.3%는 검색 봇 접속 시 차단 응답을 돌려줘 봇 설정 이전 단계에서 문제가 있는 경우도 많았습니다.

서브도메인도 따로 robots.txt를 설정해야 하나요

문서는 전체 사이트에서 봇을 차단하려면 최상위 디렉터리의 robots.txt에 규칙을 추가하되, 차단을 원하는 모든 서브도메인에 대해서도 각각 적용해야 한다고 안내합니다. 예약 페이지나 블로그가 별도 서브도메인이라면 그곳의 robots.txt도 확인해야 합니다.

크롤링 속도를 늦추고 싶으면 어떻게 하나요

문서는 robots.txt의 비표준 확장인 Crawl-delay를 지원한다고 밝히며, User-agent: ClaudeBot 아래 Crawl-delay 값을 지정하는 예시를 제공합니다. 이를 통해 같은 도메인에 대한 크롤링 빈도를 조절할 수 있습니다.

클로드 봇이 캡차를 우회해서 정보를 가져가나요

문서는 앤트로픽 봇이 우회 방지 기술을 존중하며 캡차를 우회하려 시도하지 않는다고 명시합니다. 즉 사이트가 캡차로 보호한 콘텐츠는 봇이 가져가지 않습니다.

봇이 오작동하는 것 같으면 어디에 문의하나요

문서는 봇 오작동이 의심되면 이메일로 문의하되, 문의 대상 도메인이 포함된 이메일 주소에서 연락해야 확인이 쉽다고 안내합니다. 또한 앤트로픽 봇의 출처 IP 목록을 통해 실제 앤트로픽에서 온 크롤러인지 확인할 수 있다고 밝힙니다.

병원 홈페이지 진료시간이 실제와 다르면 클로드 답변에 영향이 있나요

이 문서 자체는 진료시간 정확도를 다루지 않지만, 메디스펙 분석에서는 홈페이지와 심평원 신고 진료시간이 모두 있는 2,141곳 중 38.7%는 두 값이 달랐습니다. 봇이 홈페이지를 정상적으로 읽더라도 정보가 부정확하면 이용자에게 잘못된 값이 전달될 수 있습니다.

홈페이지 텍스트가 짧아도 클로드가 읽을 수 있나요

이 문서는 봇의 접근 허용 여부만 다루고 텍스트 분량은 언급하지 않지만, 메디스펙 분석에서 열린 홈페이지 중 23.2%는 본문 텍스트가 200자 미만이었습니다. 봇이 접근할 수 있어도 읽을 내용 자체가 부족하면 답변에 인용되기 어렵습니다.

클로드와 챗지피티 봇 차단 방법이 같은가요

이 문서는 앤트로픽의 ClaudeBot, Claude-User, Claude-SearchBot에 한정해 robots.txt 차단 방법을 설명하며, 다른 회사 봇에 대해서는 다루지 않습니다. 각 AI 회사마다 봇 이름과 정책이 다르므로 회사별 문서를 따로 확인해야 합니다.

문서 정보 · 원문 변경 사항

원문: https://support.anthropic.com/en/articles/8896518

2026.09.07첫 수록
2026.09.07원문 변경 반영
2026.09.08원문 변경 반영
2026.09.08원문 변경 반영