헥소(Hexo)에 Robots TXT 추가

Robots

검색엔진의 사이트 크롤링 허용여부를 결정해주는 파일입니다

검색엔진은 사이트에서 제공하는 robots.txt 파일을 읽고 허가하는 경우에 한해서만 크롤링 해갑니다
우리가 만드는 블로그는 검색엔진이 많이 가져갈 수록 좋으니 대부분 허용해주면 됩니다

hexo-generator-robotstxt

hexo-generator-robotstxt는 config 에서 설정한 데로 robots.txt 파일을 생성해주는 plugin 입니다

설치

$ npm install hexo-generator-robotstxt --save

설정

헥소(Hexo)의 설정파일 _config.yml 에 정보를 추가합니다

# robots plugin
robotstxt:
  useragent: "*"
  allow:
    - /
  sitemap: /sitemap.xml

배포

$ npm run deployall

확인

build 시 public 폴더에 robots.txt 파일이 생성됩니다
해당 파일의 URL 주소를 검색엔진에 등록해주면 됩니다