• 为什么有些酒你会觉得特别酸?葡萄酒 觉得 2019-02-18
  • 足球只不过是个娱乐项目,吃饭赚钱才是安身立命必须要做的,不要跟着那些戏子瞎起哄。 2019-02-18
  • “一周注射一次” 有效改善血糖达标 2019-02-14
  • [大笑]所以房价高企跟阶级没关系,真正的原因在你们自己身上,别人不过是利用了你们的贪婪和无知而矣! 2019-02-14
  • 新房才砌半堵墙 装修公司“跑路”了 2019-02-11
  • 候选企业:黑龙江飞鹤乳业有限公司 2019-01-28
  • 从房价多年以来的变化,是说明了这个问题的!…… 2019-01-24
  • 天使e护—少儿重大疾病保障计划 2019-01-23
  • 鲜琦:感恩父亲节,永远难忘父亲这首歌(3) 2019-01-23
  • 怎么偷梁换柱?请具体说明[微笑] 2019-01-17
  • 百姓故事:《纸飞机》:战火纷飞的年代里,永远不要忽视孩子的力量 2019-01-17
  • 这些是世界杯上最不可或缺的“笑脸” 2019-01-03
  • 普京力挽狂澜,从北高加索平叛到格鲁吉亚兴兵,从克里米亚回归到叙利亚反恐,给了俄罗斯人民新生——这一切都是和中国同志的支持分不开的。 2019-01-02
  • 1-5月份安徽省限额以上消费品零售额2104.7亿元 2018-12-30
  • 王春刚任天津市和平区人民政府副区长 2018-12-30
  • 新闻资讯

    四川快乐十二开奖走势图 www.prdj.net 力求视觉与交互的完美契合,以规范的流程和专注的态度,为您提供全方位的设计服务

    【山东网站制作】网站在优化过程中页面抓取过程简述

    来源:武汉网站建设  浏览量:  发布时间:2018-11-08 09:31:20

    url,即统一资源定位符,通过对url的分析,我们可以更好地理解页面抓取过程。今天,小小课堂SEO学网带来的是《页面抓取过程简述》。希望本次的SEO技术培训对大家有所帮助。

    一、url是什么意思?

    URL,英文全称为“uniform resource locator”,中文译为“统一资源定位符”。

    网站优化中要求每一个页面有且仅有一个唯一的统一资源定位符(URL),但往往很多网站同一页面对应了很多个URL,如果都被搜索引擎收录且未做URL转向,就会产生权重不集中的情况,通常称为URL不规范。

    二、url的组成

    统一资源定位符(URL),由三部分组成:协议方案、主机名和资源名。

    例如:

    https:// www.x**.org /11806

    其中https为协议方案,www.***.org 为主机名 ,11806为资源,不过这个资源不太明显,一般资源后缀为.html,当然还可以是.pdf、.php、.word等格式。

    三、页面抓取过程简述

    无论是我们平时用的互联网浏览器,还是网络爬虫,虽然是两种不同的客户端,但获取页面的方式却是相同的。页面抓取过程如下:

    ① 连接DNS域名系统服务器

    客户端都会先连接到DNS域名服务器上,DNS服务器将主机名( www.***.org )转换为IP地址,并反馈给客户端。

    PS:本来我们通过111.152 . 151.45 的地址来访问某网站,为了方便记忆和使用,才利用DNS域名系统转换为了 www.***.org 。这也就是DNS域名系统的作用。

    ② 连接IP地址服务器

    该IP服务器下可能会有很多程序(网站),可以通过端口号来做区分,同时每个程序(网站)都会监听端口是否有新的连接请求,HTTP网站默认为80,HTTPS网站默认为443。

    不过通常情况下,端口号80和443是默认不出现的。

    举例来讲:

    https://www.***.org:443/ = https://www.***.org/

    //www.***.org:80/ = //www.***.org/

    ③ 建立连接并发送页面请求

    客户端与服务器建立连接后,会发送页面请求,通常为get,也可以是post。

    get 11806 HTTPS/1.0

    获取HTTPS协议下的页面11806 返回给客户端。之后如需继续获取更多页面,则发送其他请求,否则将关闭该连接。

    PS:通常情况下 ,/seo/11806.html 可能会更清晰。也就是发送 https://www.***.org/ 下的 seo文件夹下的 11806.html 的页面请求。

    如未特殊注明,文章均来源于网络! 转载请注明来自://www.prdj.net

    这篇文章太赞了我也要点赞!

    11

    郑重声明 Solemn Statement
    本文来源://www.prdj.net 作者:武汉网站建设@武汉站多多 网络营销策划,本文由武汉站多多版权所有,未经批准转载必究。
    最新案例
    LATEST CASE
    查看更多+
    • 武汉中正新科科技有限公司
    • 武汉中国旅行社
    • 武汉一九八二装饰设计工程有限公司
    • 华中师范大学意大利语培训中心
    • 中正新科科技
    • 翰林教育
    • 德国杰克帝斯
    • 渭南职业技术学院
    • 广州宇喜
    • 小太阳
    • 汇聚恒源广告
    • 武汉绿道园林
    • 垄上优选
    • 武汉中国旅行社
    • 万福文化
    • 元泉瑜伽
    站多多客服X
    服务热线:

    027-87317566
    400-8084-027

  • 为什么有些酒你会觉得特别酸?葡萄酒 觉得 2019-02-18
  • 足球只不过是个娱乐项目,吃饭赚钱才是安身立命必须要做的,不要跟着那些戏子瞎起哄。 2019-02-18
  • “一周注射一次” 有效改善血糖达标 2019-02-14
  • [大笑]所以房价高企跟阶级没关系,真正的原因在你们自己身上,别人不过是利用了你们的贪婪和无知而矣! 2019-02-14
  • 新房才砌半堵墙 装修公司“跑路”了 2019-02-11
  • 候选企业:黑龙江飞鹤乳业有限公司 2019-01-28
  • 从房价多年以来的变化,是说明了这个问题的!…… 2019-01-24
  • 天使e护—少儿重大疾病保障计划 2019-01-23
  • 鲜琦:感恩父亲节,永远难忘父亲这首歌(3) 2019-01-23
  • 怎么偷梁换柱?请具体说明[微笑] 2019-01-17
  • 百姓故事:《纸飞机》:战火纷飞的年代里,永远不要忽视孩子的力量 2019-01-17
  • 这些是世界杯上最不可或缺的“笑脸” 2019-01-03
  • 普京力挽狂澜,从北高加索平叛到格鲁吉亚兴兵,从克里米亚回归到叙利亚反恐,给了俄罗斯人民新生——这一切都是和中国同志的支持分不开的。 2019-01-02
  • 1-5月份安徽省限额以上消费品零售额2104.7亿元 2018-12-30
  • 王春刚任天津市和平区人民政府副区长 2018-12-30