前言

作为一个网站站长应该都有碰到一些问题，就是网站长时间不收录怎么办？针对页面不收录有什么解决办法吗？不少SEO从业者和个人站长应该都遇到过类似问题，今天给大家讨论一下页面不收录的原因和解决方案

正文

懂SEO的人都知道robots是蜘蛛程序来抓取网站首先要访问的一个协议文件，Disallow不允许限止的意思； “/”的意思就是限止抓取网站所有页面目录。当网站搭建完成上线时就一定要检查robots.txt里面是否删除了限止抓取规则。

域名需要备案

国内的搜索引擎基本上是不收录未备案的网站了，也有收录但是肯定没备案的收录多，大部分无备案的高收录域名一般都是老站，没有新站，这个也是一个点

合理的使用robots规则

每个网站都需要制定适合网站本身的robots规则，正确的robots规则可以提升spider抓取的效率，告诉spider蜘蛛程序哪些页面路径允许抓取那些页面不允许抓取，对于搜索引擎来说是有利的。
这是robots文件的具体用法，可参见：https://ziyuan.baidu.com/college/courseinfo?id=267&page=13#h2_article_title30

具体解决办法

第一时间删除robots里面的Disallow: / 根据网站程序结构撰写适合的robots，比如屏蔽抓取404错误页面，后台登录页面和涉及到用户安全数据隐私等信息，都可以采用规则来屏蔽spider的抓取。

其次，为网站合成全站sitemap地图，比如sitemap.xml 上传到网站根目录中，添加至网站的robots.txt中，比如
sitemap:https://www.ainiseo.com/sitemap.xml