robots.txt、noindex 與登錄保護：三種需求別混用

先問頁面為什麼需要限制

報價草稿、客户圖紙和管理後台屬於訪問權限問題，應使用認證與服務器權限控制。公開但不希望進入搜索的感謝頁，屬於索引管理問題。大量無價值的篩選組合，可能涉及抓取管理。不能把所有路徑寫進 robots.txt 就認為資料已經保密。

建立一張頁面清單，列出產品、文章、搜索結果、賬户、測試頁等類型，分別指定期望行為。尤其檢查測試環境遷移到正式域名時，是否把整站限制也帶了過去。

三種方法的邊界

HTML 頁面可通過相應 meta 標記表達 noindex，其他文件可考慮響應頭中的 X-Robots-Tag。實際採用哪種方式取決於服務器與內容類型，不應在不瞭解配置的情況下直接複製全站規則。

用四個樣例驗收，不只看配置文件

選一個應收錄產品頁、一個公開但不應收錄頁面、一個後台地址和一個靜態資源。分別檢查狀態碼、響應頭、HTML 標記及未登錄訪問結果。再用 Search Console 的網址檢查驗證公開頁面的可抓取情況。

假設產品頁寫了 noindex，同時 robots 又不允許抓取，搜索系統可能無法讀取新標記。此時不要連續添加更多限制，應先確認目標和處理順序。移除結果也需要處理時間，不能把設置保存成功等同於搜索結果即時變化。

把上線檢查寫入交接單

對於 WordPress，要檢查閲讀設置、SEO 插件與主機規則是否重複控制索引；對於 AI 建站或靜態站，要檢查模板是否給所有頁面複製了測試標記。雲典項目交接時，可記錄四個樣例的檢查日期與結果，後續遷移再次複查。

執行清單

• 敏感資料由權限保護，不依賴搜索引擎規則。
• 產品與知識文章沒有誤加 noindex。
• 限制規則不會擋住關鍵渲染資源。
• 已上線變更有樣例、責任人和複查計劃。