小創：造成爬蟲遺漏或不收錄網站的常見原因如下：
1、沒有內部或外部鏈接，沒有找到自己網站內和此頁面內容有相關聯的網頁。一般可以增加外鏈分享跳轉的聯系，也可以添加友情鏈；
2、搜索引擎對新站的收錄是有一定的時間的，堅持內容的更新，尤其是原創內容的更新，可以加快收錄的速度；
3、網站設計的內容對爬蟲抓取不友好。搭建網站設計應以外國人的風俗習慣做本土化
的內容物料展示；
4、遇到的會造成搜索爬蟲無法抓取頁面的HTTP狀態碼是404、500、301和302，正確的頁面狀態碼是200；
5、網站設置阻止爬蟲的抓取。有可能出現以下原因：robots.txt設置了不可被抓取；網頁HTML代碼加了noindex標簽；canonical標簽指向另外一個網頁。
谷歌有數千臺機器來運行蜘蛛，但有一百萬個網站等待被抓取。因此預算有限，只要做到網頁加載速度快，內容質量高，權威性高，相關性高等行為，即可大概率提高收錄率。
