로봇

Antora는 사이트 크롤러가 방문할 수 있는 경로를 제어하기 위해 robots.txt 파일을 생성할 수 있습니다.

robots 키

robots 키는 선택사항입니다. 이는 플레이북의 site 키 아래에 구성됩니다. 허용되는 값은 다음과 같습니다:

allow

모든 사용자 에이전트가 게시된 사이트의 모든 경로에 접근할 수 있도록 허용합니다.

disallow

모든 사용자 에이전트가 게시된 사이트의 모든 경로에 접근하는 것을 금지합니다.

사용자 지정 여러 줄 문자열

비어있지 않은, 사용자가 지정한 문자열로, 생성된 robots.txt 파일의 내용으로 사용됩니다.

Example 1. antora-playbook.yml
site:
  title: Site Title
  url: https://example.org
  robots: disallow

Antora는 사이트의 루트에 robots.txt 파일을 생성할 것입니다.

robots 키는 형제 키인 url 키에 의존합니다. 만약 url 키에 값이 할당되지 않았다면, robots가 허용되는 값으로 설정되어 있더라도 Antora는 robots.txt 파일을 생성하지 않습니다.

robots에 allow 또는 disallow 할당하기

url과 robots 키가 다음과 같이 정의되었다고 가정해 봅시다:

Example 2. antora-playbook.yml
site:
  title: Demo Docs Site
  url: https://demo.antora.org
  robots: allow

이는 사용자 에이전트가 사이트의 모든 경로에 접근할 수 있도록 허용하는 robots.txt 파일을 생성할 것입니다.

생성된 robots.txt
User-agent: *
Allow: /

마찬가지로, url과 robots 키가 다음과 같이 정의되었다면:

Example 3. antora-playbook.yml
site:
  title: Demo Docs Site
  url: https://demo.antora.org
  robots: disallow

이는 모든 경로에 대한 접근을 금지하는 robots.txt 파일을 생성할 것입니다.

생성된 robots.txt
User-agent: *
Disallow: /

사용자 지정 내용으로 robots.txt 생성하기

robots에 할당된 다른 비어있지 않은 값은 robots.txt 파일의 내용으로 사용됩니다. 예를 들어, robots 키가 다음과 같이 선언되었다고 가정해 봅시다:

Example 4. antora-playbook.yml
site:
  title: Demo Docs Site
  url: https://demo.antora.org
  robots: |
    User-agent: *
    Disallow: /private/

이는 다음과 같은 robots.txt 파일이 생성되게 할 것입니다.

생성된 robots.txt
User-agent: *
Disallow: /private/