售前咨询 售后咨询
当前位置: 上海网站设计 > 建站知识 > 网站托管运营

给产品经理讲技术:一步一步写爬虫之网页分析

网站编辑:小润 | 发表时间:2019-02-09 16:06:50


  爬虫说白了就是一个脚本程序。说到脚本,我们平时遇到一些费时费力又容易出错的活儿,都可以把用到的命令写到脚本里,让计算机自动来执行。

 

  还记得之前文章里说的要把所有文章整理成pdf的计划吗?今天我们准备迈出第一步了。上海网站设计网页创作的时候就必须将网站的整体设计与网页设计的相关原理紧密结合起来。网站设计是将策划案中的内容、网站的主题模式,以及结合自己的认识通过艺术的手法表现出来;而网页制作通常就是将网页设计师所设计出来的设计稿,按照W3C规范用HTML语言将其制作成网页格式。上海网站设计是一个把软件需求转换成用软件网站表示的过程,就是指在因特网上,根据一定的规则,使用Dreamweaver、photoshop等工具制作的用于展示特定内容的相关网页的集合。

  既然确定了用爬虫动整理文章,你得先理解爬虫是什么。上海网站设计网页创作的时候就必须将网站的整体设计与网页设计的相关原理紧密结合起来。网站设计是将策划案中的内容、网站的主题模式,以及结合自己的认识通过艺术的手法表现出来;而网页制作通常就是将网页设计师所设计出来的设计稿,按照W3C规范用HTML语言将其制作成网页格式。爬虫说白了就是一个脚本程序。说到脚本,我们平时遇到一些费时费力又容易出错的活儿,都可以把用到的命令写到脚本里,让计算机自动来执行。测试同学说的自动化脚本,运维同学说的环境配置脚本,都是这个意思。一个脚本包含了非常多命令,一个接一个,告诉计算机第一步干什么,之后干什么,最后干什么。

  在这里,我们的目标很明确,就是写一个爬虫脚本,让计算机一步一步的把「给产品经理讲技术」的所有历史文章,保存成pdf。

  历史文章哪里去找?正好,微信公众号的关注界面有一个查看历史消息的链接。

 

  点开历史消息,这个页面每次显示10篇文章,如果用户滑到底,就会再加载10篇出来,典型的异步加载。我们要找的,就是每篇文章的URL地址。只要找到所有文章的URL,就能下载到每篇文章的网站内容和图片,然后就可以进一步加工处理成pdf了。

 

  为此,我们长按页面选择在浏览器中打开,然后把地址栏里的URL复制出来,发送到电脑上,用Chrome打开。上海网站设计网页创作的时候就必须将网站的整体设计与网页设计的相关原理紧密结合起来。网站设计是将策划案中的内容、网站的主题模式,以及结合自己的认识通过艺术的手法表现出来;而网页制作通常就是将网页设计师所设计出来的设计稿,按照W3C规范用HTML语言将其制作成网页格式。用Chrome的最大好处,就是它有一个「开发人员工具」,可以直接查看网页的源码。按下command+option+L,打开开发人员工具,就能看到这个网页的源码了。我们要找的东西,就藏在这些乱七八糟的HTML代码里。

 

  如何从HTML源码里找到我们想要的文章链接呢?

  这要从HTML的结构说起。HTML全称超文本标记语言,所谓标记,就是说是它通过非常多标签来描述(description)一个网页。你看到非常多像以开始,以结束的标志,就是标签。这些标签一般成对出现,标签里面还可以套标签,表示一种层级关系。最外面的html标签是最大的,hea
  D、body次之,一层一层下来,最后才是一段文字,一个链接。你可以把它类比成一个人,这个人叫html,有head,有body,body上有hand,hand上面有finger。

 

  扯远了,一些常用的标签:

  1。上海做网站购买空间。空间,顾名思义,就是存放网页内容的地方了。一个网站的程序,数据,全部都放在这个里面。新手的话建议先用空间学习一下,后续比较高级一点的还有VPS,服务器。选择空间商商要注意售后服务,稳定性,访问速度,最好是像上海这样骨干节点城市的机房。一个网页的非常多重要信息,都是在这里声明的。比如说标题(title),就是在下的

关键字:
官方微信
上海市长宁区宣化路300号华宁国际广场中区7层
+021-8031 0607
+135 8590 1130