售前咨询 售后咨询
当前位置: 上海网站设计 > 建站知识 > 网站托管运营

网站上线前把robots写了所有蜘蛛禁止抓取,取消后还是这样怎么办

网站编辑:小润 | 发表时间:2019-02-09 16:06:59


  不知道有没有其他站长(webmaster)跟我一样,技术部把网站后台搭建好了,然后网站还是非常多东西需要修改的,特别是TDK改了一遍又一遍,但是这时候我没有去百度站长申请闭站保护,却是在网站根目录上传了robots文件,里面写着:

  User-agent: *

  Disallow:/

  这表示我的网站禁止所有蜘蛛(baiduspider)来抓取,那么这种情况有什么危害呢,蜘蛛来了一次两次以后都满头灰,那么以后光顾的也就越来越少了。上海网站设计是一个把软件需求转换成用软件网站表示的过程,就是指在因特网上,根据一定的规则,使用Dreamweaver、photoshop等工具制作的用于展示特定内容的相关网页的集合。上海网站设计网页创作的时候就必须将网站的整体设计与网页设计的相关原理紧密结合起来。网站设计是将策划案中的内容、网站的主题模式,以及结合自己的认识通过艺术的手法表现出来;而网页制作通常就是将网页设计师所设计出来的设计稿,按照W3C规范用HTML语言将其制作成网页格式。原本我是打算禁止2~3天,前端跟美工配合我完成网站的修改,第三天编辑录入文章就可以的。但是因为美工那里拖了进度,我就没管先,还是这样写。

  等网站正式改好之后那是两个星期后的事情了,当天那会我就把robots改了,然后重新提交给百度。而且还加上网站地图

 

  robots写法

  而因为网站架构不错的原因吧,在上线第二天品牌词就排在了网站首页,但是很明显的一个是,百度搜索网站品牌词的时候,显示出来的只有网站标题(title),其他那些呢,相信大家也猜到了:该网站的robots.txt文件存在限制指令,系统没有办法提供该页面的网站内容描述(description)。上海网站设计是一个把软件需求转换成用软件网站表示的过程,就是指在因特网上,根据一定的规则,使用Dreamweaver、photoshop等工具制作的用于展示特定内容的相关网页的集合。

 

  百度显示限制指令

  那么预料到有这种情况怎么办呢,其实我用robots禁止蜘蛛(baiduspider)抓取两个星期的话不如直接申请闭站保护来的好,但是那会刚好忙其他事情去了,就没有顾上。那么对于一个草根站长(webmaster)来说遇见这种情况肯定很慌,其实能做的也没多少,那么我是怎么做的呢。上面也说了,先是做了网站地图,然后写在robots上,然后提交到百度站长(webmaster)平台的sitemap地图提交,然后把www.exmple.com/robots.txt 主动提交到百度去。跟着就是更新文章,发布外部链接。新网站来说,靠自然更新,保证原创,高质量外链来说,就算天天更新也需要一定时间,但是第二天我就不管了,看下有什么能刺激下百度,然后我去百度找到个方法,这里分享出来给大家看下:

 

  百度提示处理方式方法

  我是弄的,要做一件事情长时间没有反馈的时候,我选择的是第四部,去百度反馈中心,反馈是因为误操作控制导致了这种情况发生,写明我的情况,蜘蛛(baiduspider)抓取频率(frequency)的下降,然后说明百度没有抓取我网站页面网站内容,但是我是对百度开放的,配上三张截图,都是来源于百度的,这个很重要,证据来源于百度的话可信度会大大的增加。上海网站设计网页创作的时候就必须将网站的整体设计与网页设计的相关原理紧密结合起来。网站设计是将策划案中的内容、网站的主题模式,以及结合自己的认识通过艺术的手法表现出来;而网页制作通常就是将网页设计师所设计出来的设计稿,按照W3C规范用HTML语言将其制作成网页格式。提交反馈之后,原因我还打算加上一个数据主动推送的,但是百度反馈提醒我两分钟就会有结果,我就耐心等个几分钟吧,结果搜一下品牌词,百度网站首页第二,然后看下是否有显示描述(description)。直接上图吧:

 

  正常显示结果

  虽然百度没有按照他说了两分钟就给我搞定,但是也不长,十分钟的事情吧,还真的搞定了。而且因为网站架构,网站内容都不错的情况下,更新了快照,然后上线两天的网站既然有了关键词(KEY)排名(Ranking),两个词排在百度第
  三、四页,大大出乎我的意料。上海网站设计是一个把软件需求转换成用软件网站表示的过程,就是指在因特网上,根据一定的规则,使用Dreamweaver、photoshop等工具制作的用于展示特定内容的相关网页的集合。

  此原创 君之诺情感

关键字:
官方微信
上海市长宁区宣化路300号华宁国际广场中区7层
+021-8031 0607
+135 8590 1130