這個工具是什麼
Robots.txt Generator 可產生基本搜尋引擎爬取規則，支援 user-agent、Allow、Disallow 與 Sitemap 欄位，適合網站上線前建立初版 robots.txt。
網站工具
Robots.txt Generator
產生基本 robots.txt 規則，包含 Allow、Disallow 與 Sitemap。
robots.txt
User-agent: * Allow: / Disallow: /admin Disallow: /private Sitemap: https://123easytools.com/sitemap.xml
如何使用
- 1 設定 User-agent。
- 2 輸入允許或禁止爬取的路徑。
- 3 加入 sitemap URL 並複製結果。
公式
robots.txt 由 User-agent、Allow、Disallow、Sitemap 等指令組成。
計算例子
Allow: / 搭配 Disallow: /admin 可允許一般頁面並排除後台路徑。
常見問題
robots.txt 可以保護私密資料嗎？ +
不可以。robots.txt 只是爬蟲指引，不是存取權限控制；私密資料應使用真正的權限保護。
Disallow 後 Google 一定不會收錄嗎？ +
不一定。被 Disallow 的 URL 可能仍因外部連結被發現，若要避免索引應使用 noindex 並允許爬取。
Sitemap 一定要放在 robots.txt 嗎？ +
不是必須，但放入 Sitemap 指令有助於搜尋引擎找到你的 sitemap。
工具導覽
同分類工具
相關工具
相關工具集合
最近使用
目前還沒有最近使用紀錄。打開任一工具頁後會出現在這裡。