爬蟲會拜訪並檢索網站內容，並紀錄（索引）入資料庫，透過檔案或標記告訴 Google 哪些網頁與檔案是重要的，讓 SEO 優化更快見效。