Crawl Test Tool

Crawl Test Tool

由SEOmoz制作的一个在线式搜索引擎抓取情况测试工具，非常好用。之前只对收费会员开放，现在已全面开放。不过你还是需要花几秒钟注册一个免费帐号才行，但绝对值得。

著名SEO专家Zac专访Google工程师Matt Cutts及朱健飞

　　Matt Cutts的采访我们已经看过了不少，但印象中Matt Cutts似乎从来没有接受过国内SEO专家的专访，因此也从来没有以中文SEO为主题发表自己的看法。英文SEO固然是主流，但在中国，中文才是绝对主流，由于语种的不同，中文SEO的方法也就不同。为此，国内著名SEO专家Zac（Zac现居新加坡，是国内著名SEO组织"点石互动"中的成员）近日专访了Matt Cutts及Jianfei。Matt Cutts是Google的反网络垃圾小组的Boss，这一点我们早已知道了，而Jianfei即朱健飞，是Google的"顶级中文反垃圾工程师"。因此这个采访非常有意义，Google的两位顶级专家是主角，他们都发表了自己对于中文SEO的看法，而Zac所提出的问题则正好是很多中文站长一直以来都想知道答案的。

　　下面是我感兴趣的一些内容：

Zac: 根据中国互联网信息中心的调查，Google的市场份额从05年的33%降到了06年的25.3%。你们怎么看调查中市场份额的降低？

Jianfei: 就这个市场份额，让我们参考李开复的说明，"这些调研数量可能会有一定的误差。不同的用户，使用搜索引擎的频率会不同，有人可能一天用10次搜索引擎，有人可能一天只用一次，简单的采样结果也许并不能真实反映流量。"

幻灭注：十分有趣，即使是Jianfei这样的工程师，也对谷歌在中国的市场份额避而不谈，直接套用李开复的官方措辞，即：那些统计都是不准确的，别理它。那么哪些统计才是正确的？谷歌自己发布的才算？

Zac: 我们谈谈复制内容，最近很热的话题。我在中文网站看到更多的内容复制。很多中文站长喜欢从其他网站"采集"内容，有的用软件，有的人工，然后放在自己的网站上。Google是否惩罚这种放满了四处可见的内容的网站？是否有个百分百或门槛，超过了会导致惩罚？原创者应该怎么做才能确保原创版本被正确辨认？

Jianfei: 我们注意到了一些中文网站有很多复制内容。用户喜欢看到不同的搜索结果，所以Google尽力提供多样的结果。我们的算法已经有了一些清除复制内容的办法，我们会继续寻找改进的方法。

幻灭注：中文网站内容的复叠现像的确十分严重，这是因为国内的站长通常都无视版权的存在。不仅经常会进行人肉采集，每当夜深人静的时候，各种自动采集也全面出动。基于单纯复制贴粘或自动采集得来的内容而建立的网站，我们通常称之为"垃圾站"。但垃圾站的站长们并不介意这个称呼，因为他们只有一个目的，那就是在垃圾站上面投放广告，赚一点钱再算；然后等搜索引擎采取惩罚行动后，再新建另一个垃圾站。Jianfei并没有正面回答Google是怎样辨别内容是否原创，但如果你还记得，Google官方在今年3月中的时候曾经发表过一篇文章，公开表明了会加强对垃圾站的打击力度。一般情况下，Google找到了比较有效的方法后，才会发表这样的文章。不过有搜索引擎存在一天，垃圾站的现像就会一并存在，Google仍需努力。

Zac: 有的网站使用多个域名，内容完全一样，比如说domain.com和domain.com.cn 。这样危险吗？最好的处理方法是什么？

Matt: 如果内容真的一样，我会选一个域名，另一个域名做转向到选定域名。比如，google.com 做永久转向 (301) 到 www.google.com，我们会看到并通常会选择转向指向的那个。如果内容是不同的语言（比如中文和英文），那么在两个不同的域名的内容没什么危险，但是如果内容完全一样，最好从复制域名做永久转向到一个选定域名。没有转向的镜像网页可以产生问题。最好使用301/永久转向，因为Google也许选择删除或不显示你最喜欢的版本。

幻灭注：那么怎样做301转向？Zac之前写过一篇极详尽的教程了，参考其中的步骤即可。

Zac: 我们能找到的PR最高的中文站是PR8。就PR来说对中文站有歧视吗？如果没有，为什么没有PR9甚至PR10的站点？PR对排名还有用吗？

Matt: PageRank确实取决于互联网的链接结构，但我不会因为看不见PR9或PR10的站而灰心。其一，中文站通常是跟其他中文站比较排名，所以比赛还是公平的。同样很重要的是Google的PageRank有更细的量度（并不是简单的1到10），所以都显示工具条PR6的两个站可能有不同的PageRank。Google对非英文站点的权威声望度的测量有特殊处理来帮助。

幻灭注：这也是中国站长常有的疑问之一，即为什么中文网站的PR值总是要比英文的低一些。PR值不是整数，尽管它最终在Google Toolbar上面显示出来的结果为整数，这一点我们去年就说过了。但如上面标黑部分，Matt说Google对于非英文站点的重要性有特殊的衡量方法。这是否代表着因为这样，中文站的PR值才比不过英文站呢？

Zac: 最近很多关于被信任的域名和权威网站的讨论。如果一个站被认为是权威，它会在Google排名高，更多人找到这个站所以带来更多链接，然后它变得就更强。普通默默无闻的站怎么克服这个情况和权威站竞争呢？除了建一个有很多有用原创内容的好的站点，有什么捷径吗？

Matt: 如果是刚建的普通小站，我不会去尝试热门关键词。把精力集中在一个小的你能被当作专家的利基市场。当你被更多人知道了，你可以从小利基市场往越来越大的领域发展。很多成功的站都是从小站开始，往大发展。而且，你越有创意，越有趣，越有帮助，这常会有助于人们注意到你。

Jianfei: 比如，你的站 http://www.chinamyhosting.com/seoblog/ ，就是这样的站。一年前，这个站没人知道，但通过你的勤劳工作和创造性努力，现在它在搜索[搜索引擎优化排名]时排名很好，这令人印象深刻。

幻灭注：这应该是几乎所有站长都想知道答案的问题，特别是有什么捷径，可以令小站能与权威站进行竞争。可惜的是，这两位Google专家的答案都是一样的，即四个字：专心做站。

Zac: 我每天都在我的博客里看见大量链接垃圾。论坛或博客里的链接垃圾会导致惩罚吗？还是被Google直接忽略因此对排名没影响？

Jianfei: 实际上，发链接垃圾可以变得危险。如果Google发现一个公司在发链接垃圾，这个公司的站可能从索引删除。除非我们再也看不到垃圾链接，Google不一定会重新收录。在大部分情况下，删除链接比加入链接还难（比如用垃圾软件发在博客和论坛的垃圾），所以还是离链接垃圾远点好。

Matt: 通常，Google会忽略链接垃圾。当我们知道一个公司确实发链接垃圾，我们可能采取适当的行动。

幻灭注：大家都想知道答案，而Matt和Jianfei的回答则更明确，如果你以为在别人的博客里不断地发你的网站链接就能给你的网站带来好处，那你就错了，因为Google可能会对你的网站进行严惩。其实我在去年就建议过了，如果你仅仅想从某个网站或blog里获得一些流量，正确的做法是给这个blog发送一个trackback（国内称"引用"），只发一个，别多发。

　　感觉Zac这次完成的采访对中国站长的意义非常重大，建议大家阅读完整的采访内容（中文版，英文版）。再次感谢Zac！

http://www.gseeker.com/50226711/eseoaezacaeegooglecmatt_cuttse_87455.php

新浪博客为什么忽视搜索引擎优化

我一直很纳闷，新浪博客为什么忽视了搜索引擎优化？许多博客网站在搜索引擎中有很好的表现，不是因为搜索引擎偏爱博客程序，而是因为大多数博客程序设计对搜索引擎都比较友好，例如完全静态化的网页内容，采用符合WEB标准的XHTML技术大大减少了垃圾代码的比例，使得有效文字信息所占比例提高等。但是新浪博客例外，直到目前的新浪BLOG3.0版，仍然没有考虑网页对搜索引擎的优化问题。
如果仔细看看新浪博客网页就不难发现，新浪博客的确没有考虑过搜索引擎优化问题，一个很突出不过的现象是，通过一篇文章很难找到文章所属的列表页面，并且与其他文章之间没有合理的链接关系，这样不仅用户很难去继续阅读更多的文章内容，搜索引擎也很难抓取这些没有合理链接关系的网页，尤其是这些网页没有在一个合适的栏目中出现时，甚至不能获得被搜索引擎收录的机会。从博客文章目录设计来看，所有作者的博客文章都放在http://blog.sina.com.cn/u/ 这个目录之下，使得各个作者没有自己独立的文件夹，想要检索同一个作者的全部文章，将让搜索引擎无所适从。
例如我在新浪的博客地址是 blog.sina.com.cn/m/fyj，但我的文章并不是放在/m/fyj这个目录之下，因此除了这个博客首页之外，其他的文章是否被搜索引擎收录则很难确认，即使被收录了也很难被检索出来。当然这只是新浪博客对搜索引擎友好性不高的典型问题之一，新浪博客的搜索引擎优化问题还有很多。
一个博友曾这样抱怨新浪博客：不要说通过搜索引擎检索我的文章了，就算我自己到我的博客专栏我都很难找到自己的文章。根据我的观察，新浪博客的搜索引擎优化状况的确不好，这可以通过另一个简单的事实来说明：如果你注意到一些博客访问超百万的牛人博客，可能会发现，有些文章浏览量高达几万甚至几十万，有些文章的浏览数则少得可怜，只有几十次或者至多几百次。造成这种巨大差异的原因在于，访问量高的博客文章是新浪博客编辑在主要页面给予推介的，用户通过频道主页（例如博客首页、新浪科技频道首页等）发现了这些文章，而那些未经过编辑推荐的文章则很难被用户发现，知者寥寥也就不足为怪了。
我个人写博客的时间长了，对于博客文章通过搜索引擎带来访问者的体会也就比较多一些。大约在2004年前后，博客中国的专栏文章在推出后的一段时间之内由于全部转化为静态页面并且针对文章页面的META标签等进行了优化设计，因此发布在博客中国的文章在搜索引擎检索获得了很好的效果。当年发表在博客中国网站的文章，一周内的浏览量也许只有1000左右，但是半年后重新看这些文章的浏览数，吃惊地发现，有些文章的访问量可能已经超过5000，表明在文章滚动出专栏文章列表前几页之后，仍然有大量用户通过搜索引擎检索并阅读该文章。不过后来随着博客中国网站的改版和并购等调整，有些方面的优势没那么明显了。当然后来出现更多的博客网站也是造成博客网在搜索引擎中竞争优势相对下降的原因之一。
在营销人博客这一比较专业的博客圈子里，由于用户群体相对较小，许多文章在发表后一周内阅读量只有100次左右，但几个月过后也能增长到几百到几千次，表明营销人博客文章对于搜索引擎优化也具有一定的优势（是利用OBLG一个免费博客程序进行配置的）。一些营销人博客的作者，用自己的姓名检索，在检索结果的显著位置往往是作者在营销人博客专栏首页。这种对搜索引擎友好甚至也成了作者喜欢在营销人博客写文章的原因之一。
所以我在想，像新浪博客这样拥有大量原创内容的博客网站，如果对博客文章的搜索优化也像新浪新闻内容那样好，那么新浪网站的访问量还会有显著的增加，说不定重回中文网站访问量全球第一的位置都有可能（目前新浪网在中文网站流量排名第二，排名第一的是百度。在2005年之前，新浪在全球中文网站访问量第一的地位是很稳固的）。
后记：这篇博客文章写了很久，一直没好意思发布，我在“这篇800元建站的文章竟然上了新浪博文排行榜”中曾经提及过这个事情。
http://www.marketingman.net/Blog//fyj/2504.html

营销人博客PR值为0,成为垃圾SEO的牺牲品

2006年即将结束的时候，我很难过地告诉大家，营销人博客的PR值被降为0，成为垃圾SEO的牺牲品。
写作此文，一方面对营销人博客作者表示深深的歉意；另一方面也希望技术高手们提供援助，以便彻底解决博客程序被垃圾SEO利用的困境。同时也提醒其他博客网站运营者注意：垃圾SEO无孔不入，一定要提高警惕！
发现这个问题大约在2006年12月初。我寄希望于是google工具条的显示暂时不正常，但是，事实证明，google PR值没有错，是我错了，是我忽视了博客管理的一个问题，结果被垃圾SEO所利用，影响了营销人博客的PR值。原本PR4，现在从google工具栏上显示为0了。不过所幸的是，被google收录的博客文章并没有被删除，仍然可以通过搜索引擎检索。因为，天地良心，这真的不是我们的错，相信搜索引擎也应该有这个判断能力。
“网站的PR值高可能说明不了任何问题，但PR值过低一定说明网站存在问题”。这是我一贯的观点，现在再次得到验证。所以，当我发现营销人博客PR值为0时，就在考虑，一定是网站本身出了什么问题。
经过分析发现，事件源于博客文章后面的“引用通告”功能（现在部分文章的引用通告功能已经被删除）。这个功能一般情况下很少用到，于是我忽视了对引用通告的管理，结果被一些令人唾弃的垃圾SEO所利用，在一些热门博客文章中通过引用通告大量进行垃圾网站链接。在营销人博客开通不久就发现，一些垃圾SEO利用博客文章的评论和留言功能做垃圾链接，于是及时删除了文章评论和留言的超级链接功能。
后来，当我注意到引用通告被垃圾SEO滥用的问题时，已经尽快删除了这个功能（不过写作本文时我发现没有彻底解决，目前在早期的文章中仍存在被SEO所利用的情况，已经请技术人员尽快找到解决办法）。但是，由于只有每个博客作者进行网站更新时才能生效，所以直到现在一些长期没有更新的博客文章后面还有“引用通告”的显示。而且，发现这个问题时已经迟了，显然，google可能更早注意到这个问题，并且已经进行了处理。
事实上，后来我查看过部分同样采用OBLOG博客程序的网站，只要访问量较高，通常都会被垃圾SEO所利用，有些访问量高的博客文章的“引用通告”数量高达15800个，而这么多的链接，可能是少数几个或者同一个垃圾SEO所为，大部分网址都链接到某几个网站上。同样，新竞争力网络营销博客也不能幸免。一些访问量不高的博客文章则很少出现这种情况。
下面就是一些“引用通告”中的典型问题，例如：在“关于开设独立网络营销教学博客平台的设想”文章后面，目前有164个“引用通告”。http://www.marketingman.net/Blog/showtb.asp?id=3101
下面是“引用通告”的部分内容（去掉了原文中的超级链接）
第1条:被在2006-12-30 0:22:26引用引用标题：机票引用地址：http://syh1225.earth.avatale.com/第2条:被在2006-12-30 0:17:15引用引用标题：机票引用地址：http://www.51jipiao.net/第3条:被在2006-12-30 0:15:24引用引用标题：北京租房引用地址：http://www.bahouse.cn/第4条:被在2006-12-30 0:12:35引用引用标题：刻章引用地址：http://www.hdkz.com.cn/index1.htm第5条:被在2006-12-30 0:09:04引用引用标题：打折机票引用地址：http://www.51jipiao.net/guonei.asp
对比其他文章后面的引用通告留言，几乎可以肯定都是少数几个烂人在做这种无耻的事情。
看来，博客管理的问题远比原来想象的难题要多。唉……这些无耻的SEO们……
http://www.marketingman.net/Blog//fyj/4015.html

刘宣如教学博客首页PR值为0的原因分析

在2006年12月12日的博客文章“刘宣如教学博客首页PR值为0,大家来分析一下原因”中，介绍了利用google工具条看到刘老师博客首页PR值为0，实并不是这个博客有什么作弊问题，而且我看到文章后面有一个读者留言已经发现，刘宣如博客首页PR值为3。实际上的确是这样，刘宣如教学博客首页PR值为3而不是0。但是，大家为什么看到PR＝0的现象呢？
主要原因在于，“刘宣如教学博客首页”的URL非唯一性。如果你在浏览器用http://www.marketingman.net/blog/liuxr/来访问，PR为3，但是们如果用http://www.marketingman.net/blog/liuxr/index.html这个网址来浏览，显示的PR值就是0。
所以，刘宣如教学博客首页PR值的问题，实际上涉及到搜索引擎优化中对于网页URL格式的处理问题。从访问者来看，两个URL显示的内容是完全一样的，不过，从浏览器的解释来说，这两个URL是不同的，相应地，搜索引擎也会认为是不同的两个网址拥有同样的内容，相当于复制网页内容，不过由于这种复制并非人为的复制网页，只不过是浏览器对HTML语法的合理解析，因此搜索引擎并不会对此做出惩罚，但是需要从不同的URL中选择一个“主URL”（我自己这样通俗的解释），对于这个主URL给予高的PR级别。
那么该解释为什么http://www.marketingman.net/blog/liuxr/index.html的PR是0，而http://www.marketingman.net/blog/liuxr/的PR为3呢？这个问题与两个网址被其他网站/网页链接的数量有关。我观察发现，除了营销人博客首页“刘宣如教学博客首页”链接的是带index.html后缀的网址之外，其他地方链接的都是没有这个后缀的，所以google把http://www.marketingman.net/blog/liuxr/这个网址给予较高的权重，而忽略了那个带后缀的网址。
我发现营销人博客中有几个地方链接了“刘宣如教学博客”，然而却莫名其妙地都把网址链接错误或者没有链接到含有后缀的网址，或者其他形式的网址，例如潘冰博客把刘老师博客链接的URL链接到了http://www.marketingman.net/Blog/liuxr ，而王蓓蕾的博客错误地把刘老师博客链接到http://www.marketingman.net/Blog/duanjian/index.html（王蓓蕾把其他几个友情链接的地址也有不同形式的错误），蓝萍的博客中刘老师博客链接地址是http://www.marketingman.net/Blog/liuxr/cmd.html?uid=18&do=blogs&id=31。而在外部网站链接中，如网络营销教学网站，以及其他网站检索收录的教学博客网址（如http://www.86kg.com/list.asp?sort_id=6”等，统一都链接到了“http://www.marketingman.net/blog/liuxr/”。
这样，在互联网上对“刘宣如教学博客”有限的几个链接中，推荐最多的网址是“http://www.marketingman.net/Blog/liuxr”。
所以可以这么说，刘宣如教学博客首页PR值为0是大家共同“无组织无预谋”却“同心协力”造成的结果。如果要验证，大家都把“刘宣如教学博客”链接修改为http://www.marketingman.net/blog/liuxr/index.html，到下次google更新PR值时看看结果如何。
同样的道理，大家可以看看其他几个博客首页在不同URL形式下浏览的PR值。王蓓蕾的博客首页http://www.marketingman.net/blog/wangbeilei/index.html PR值为3，而http://www.marketingman.net/blog/wangbeilei/这个网页的PR值为0。
冯英健网络营销人博客首页，在两种URL情况下PR值都为4。可以用同样的道理解释。
注：本文为冯英健写于2006年10月27日下午15:00，深圳机场候机厅，因深圳－成都航班晚点，于是总算有时间解释了这个刘宣如老师一直关心的问题。

http://www.marketingman.net/Blog//fyj/3185.html