搜索蜘蛛spider和普通用户的区别
主流的搜索引擎都声称自己的spider对网站的抓取行为和普通用户的访问行为没有太大的区别。
站在用户的立场来理解这句话是没有问题的，但是站在站长和SEO(网站搜索引挚优化)的角度这句话就不太正确了。
在网页上其实有很多东西普通用户是看不到的也分不清楚的，但是spider却是可以看到的，网页上也有很多东西普通用户可以看到，但是spider却是视而不见的。
如何看待网页，spider和普通用户是有一些区别的，具体表现在以下方面：
1、 网页中的隐藏内容，是否被挂了黑链等这些spider是无法分辨得出来的。网站中的图片文件也是spider无法分辨的，更不能读取JS，Iframe，Ajax和Flash中的内容，普通用户却是相关的，这些普通用户都是可以看到的。
2、 Spider没有Referer，对网站的抓取全部都是直接访问的，而普通用户出来直接访问的用户外一般都是由Referer的。
3、 Spider对网站的访问是不存在Cookie的，但是普通用户访问网站是会产生cookie记录的。
4、 Spider不会主动注册登入网站，但是普通的用户却是可以的，原则上spider不会抓取和分析网站robots中限制的内容，但是普通的用户是可以正常访问的。
5、 Spider对于有动态的参数URL可以能会陷入死循环，但是普通的用户是不会的。
6、 Spider对列表中前几页的新内容可能抓取不好，但是普通用户对感兴趣的内容是可以浏览的
7、 Spider只是机械的判断文章的原伪度，但是普通用户可以通过多角度来对一篇文章进行判断甄别。
了解了spider和普通用户的区别，我们在日常的优化过程中，在不影响用户体验，不使用作弊手法的情况下，迎合搜索引擎spider的习惯，最大可能的提高网站在搜索引擎中的表现。而误导spider，钻spider空子的做法虽可能短期从搜索引擎中获得搜索流量但不会长久，还是不可取得。以用户为中心，最大可能的满足用户的需求才是正道。
拓展阅读：
