DevOps Colleague

robots.txt는 웹사이트의 루트 디렉토리에 위치하는 텍스트 파일로, 검색 엔진 크롤러(로봇)에게 웹사이트의 어떤 부분을 크롤링(수집)해도 되는지, 또는 하면 안 되는지 알려주는 역할을 합니다. robots.txt란?위치: 반드시 https://example.com/robots.txt에 있어야 함목적: 검색 엔진 크롤러(예: Googlebot, Bingbot 등)의 접근 제어표준: Robots Exclusion Protocol The Web Robots PagesThe Web Robots Pages Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. ..