百度回信了,还是那千篇一律的那几条:
-----------------------------------------------------------------------------------------
尊敬的用户:
您好!
非常感谢您的来信询问。百度使用自动的spider程序抓取互联网上的网页,大多数情况下,网站都能被百度自动收录。虽然百度希望尽可能多的抓取互联网上的网页,但为了确保用户的搜索体验以及某些不确定的原因,仍会有少数网站无法被百度收录,如果您的网站未被收录,通常是由以下原因引起的:
1. 您的网站所在服务器不稳定,被百度暂时性去除,稳定之后,问题会得到解决。
2. 您的网站有设计缺陷,导致spider无法正常抓取。
3. 您的网页不符合用户的搜索体验。
4. 网页是复制自互联网上的高度重复性的内容。
5. 网页做了很多针对搜索引擎而非用户的处理,使得用户从搜索结果中看到的内容与页面实际内容完全不同,或者使得网页在搜索结果中获得了不恰当的排名,从而导致用户产生受欺骗感觉。
6. 您的网页内容有不符合国家法律和法规规定的地方。
7. 您网站的robots协议禁止百度抓取。
8. 其他技术性问题。
您也可以到百度网站登陆上免费提交您的网址:http://www.baidu.com/search/url_submit.html
您所反馈的问题已经转发给相关的工程师继续分析,分析结果将成为改善搜索结果质量的重要参考。
感谢使用百度。希望您继续支持与关注百度。
谢谢!
-----------------------------------------------------------------------------------------------------------------------------------
我的第一反应是,百度没有认真的检查我的网站,完全是在敷衍我!但是转而一想,也许是我哪里没做对?
于是对照一条一条检查:
1. 您的网站所在服务器不稳定,被百度暂时性去除,稳定之后,问题会得到解决。
服务器不稳定不存在,原先火山都能收录,现在西部数码不稳定?
2. 您的网站有设计缺陷,导致spider无法正常抓取。
网站采用DZ论坛,我没作大的发动,也不会有设计缺陷。
3. 您的网页不符合用户的搜索体验。
同上,不存在这个问题。
4. 网页是复制自互联网上的高度重复性的内容。
自己是论坛,是发的帖子,也不存在高度重复的问题。
5. 网页做了很多针对搜索引擎而非用户的处理,使得用户从搜索结果中看到的内容与页面实际内容完全不同,或者使得网页在搜索结果中获得了不恰当的排名,从而导致用户产生受欺骗感觉。
从来没有做SEO处理。
6. 您的网页内容有不符合国家法律和法规规定的地方。
正规备案,正规网站。
7. 您网站的robots协议禁止百度抓取。
我不会自己禁止抓取。
8. 其他技术性问题。
其他问题问题我就查不出来了,你百度都查不出来。
----------------------------------------------------------------------------------------------------------------------------------
但是,问题总要解决呀!我又反复对照上述问题,看到第7条的时候,我想我去看看robots。结果打开一看,大吃一惊:
#
# robots.txt for Discuz! Board
# Version 6.0.0
#
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /attachments/
Disallow: /customavatars/
Disallow: /images/
Disallow: /forumdata/
Disallow: /include/
Disallow: /ipdata/
Disallow: /templates/
Disallow: /plugins/
Disallow: /mspace/
Disallow: /wap/
Disallow: /admincp.php
Disallow: /ajax.php
Disallow: /digest.php
Disallow: /logging.php
Disallow: /member.php
Disallow: /memcp.php
Disallow: /misc.php
Disallow: /my.php
Disallow: /pm.php
Disallow: /post.php
Disallow: /register.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /seccode.php
Disallow: /topicadmin.php
Disallow: /space.php
这不是禁止访问所有的目录吗?这是怎么回事呢?
原因我是找不出来了,但是,百度回信说的没错。
我立即做了一个空的robots.txt放上去!
经验教训是,什么事情都不能够随意下结论,不然,冤枉了百度,呵呵!
接下来,我要去看看我的日志,有没有机器人来过!
2008-03-16 16:04:14 GET /index.php - - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 20281
2008-03-16 16:04:35 GET /space.php 195/mythreads - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 7782
2008-03-16 16:04:56 GET /space.php uid=7 - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 14450
2008-03-16 16:05:28 GET /space.php 99/myblogs/1159632000/1162310400 - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 9551
2008-03-16 16:06:02 GET /stats.php type=team - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 13140
百度机器人来了很多次,呵呵!我还怪百度!
要是早点检查的话,该早就收录了!
呵呵!