当我们把网站设计好，网站已经伪静态、同样添加了原创文章、关键字密度也注意了、外链也做了，一切有利于优化的工作都做了，当你满怀激动的心情site你的站的时候，让你感到失望的是：只收录了首页甚至没有被收录。这时候你应该从以下5个方面去检查网站是否存在这样的问题。

以下5个问题可能是蜘蛛不收录网站的原因：

1.链接放在Flash、Java代码中
2.robots.txt
3.在同一个页面有太多的链接
4.页面需要登录或者验证之后才能浏览
5.网站中使用了iframe或者其他框架结构

链接放在Flash、Java代码中

虽然现在Google说明可以爬取Flash中的链接，但是对于百度来说就不行了，如果你网站不得不使用Flash，建议你把Flash中的链接放在外面，以文本的形式存在；对于Java、Silverlight是同样的操作方式。

Robots.txt

注意检查一下你的Robots.txt有没有问题，是不是禁止了蜘蛛爬取栏目、页面。

在同一个页面有太多的链接

同一个页面如果有成千上万的链接，有的人可能会说，我所有的链接都是指向我本站的，没有导出链接，及时这样也不行，如果链接太多蜘蛛会认为此页面沦为Spammer，因此蜘蛛不会抓取你所有的链接，Google会抓取你前100个链接或者甚至更少；因此在网站设计的时候，不要在同一个页面出现太多的链接，可以使用分页。

页面需要验证才能浏览

确实你的网站是否需要登录之后才能浏览，例如有的论坛设置了游客不能查看帖子，当蜘蛛来到你站的时候，就查看不了帖子内容，自然就不会收录了；如果一定要让用户登录之后才能浏览，那么一定要给蜘蛛开通一个匿名就可以访问的通道。

网站页面使用了iframe

有时候可能你使用了iframe，这样蜘蛛往往搞不清楚你网站的结构，而且还会造成蜘蛛死循环，大家建站的时候一定要避免iframe，可以使用JS代替。

原文出自：http://www.86ecw.com