动态页面会对SEO产生什么影响

阅读 0  ·  发布日期  ·  admin
设计爬虫时,通常都回避态网(如Charkabarti,Joshi,Punera,&Pennock,2002)。识别态网时,只需要看URL中是否出现问号,含问号的就是动态网。忽略动态网页是因为它们容易造成蜘蛛陷陷阱理论上是一个无限的网页集合,而蜘蛛永远不能完整地遍历这个集合。在线日历就是一个容易被忽略的蜘蛛陷阱,它生成的动态网页中可以标上任何日期,并包含指向后一天网页的链接。一个爬虫从这个日历中找到一个网页后,便会无止境地请求后一天的网页。

                                        


动态的页面(url)属于蜘蛛陷阱,索引擎蜘蛛一旦爬行进入,很有可能会出不来、或是难以流畅的抓取,所以建议网页一定是 静态或是经过伪静态 处理的