原因一：站点的robots.txt 文件已损坏或者在书写的时候出现错误(例如出现错别字)
如果搜索引擎机器人错误的理解了您的robots.txt 文件,它们可能会完全无视你的网页。
对于这个问题,解决的办法是仔细检查您的robots.txt 文件，并确保您网页上的的参数是正确的。
原因二：网址中包含太多的变数
网址中包含太多的变数可能会造成搜索引擎机器人搜索困难。
如果您的URL 包含变数太多，搜索引擎漫游器可能会忽视您的网页。
对于这个问题一些比较熟悉网页制作的人可能会想到动态网页，的确就是这个问题，动态生成的网页(包括ASP、PHP)可能导致抓取工具无法收录，解决办法，使用静态页面。
原因三：在您的网址中使用了会话ID
许多搜索引擎不去收录那些包含会话ID 的网页，因为它们可导致内容的重复。如果可能的话，避免会话ID 出现在您的网址，而使用cookies 存储会话ID。
原因四：您的网页中包含太多的代码
网页中包含了JavaScript 代码、CSS 的代码以及其他脚本代码。
这些代码与内容没有直接的联系，访问您网页并选择“查看源文件”或“查看HTML 源”，如果您很难对网站上的实际内容进行更改，那么通常情况下搜索引擎收录起来也很困难。
原因五 ：网站导航
大多数搜索引擎的机器人不能解析JavaScript 或DHTML 菜单，当然Flash以及Ajax 菜单效果更差。
