• 牛肉-热门标签-华商生活 2019-11-17
  • 五家渠市开展2018年春季动物疫病防控及畜牧业安全生产监督检查工作 2019-11-17
  • 西部网(陕西新闻网)www.cnwest.com 2019-11-11
  • 不忍直视!普京也有控制不了场面的时候 2019-11-11
  • 英媒:中国开放世界最大无轴摩天轮 比“伦敦眼”高10米 2019-11-06
  • 美国又打出2000亿关税牌,中方这300字声明暗藏玄机! 2019-10-21
  • 向青春致敬!大学生图片记录校园24小时故事 2019-10-16
  • 抢“女婿”留“儿子” 山东加入人才争夺战 2019-10-16
  • 通过医疗,住房,都是乘人之危,太缺德,中国历史上绝无仅有。 2019-10-14
  • 85后女青年刘阿娟带领果农发展绿色无公害果品 2019-10-08
  • (原创首发)看《换了人间》有感——蒋介石和国民党依靠歪门邪道夺取天下;毛泽东和共产党依靠正义正气打天下! 2019-10-08
  • 北京市北京龙腾信达综合店【在线咨询】 2019-10-04
  • 柴达木盆地生态保护与治理规划出台 欲提高生物多样性保护 2019-09-23
  • 志愿者送来爱心物资 暖热孤残孩子们的心 2019-09-23
  • 而其实,正所谓资本制度是资本人格化阶级主导一样,现在的人民也不是现成可用的概念,是要经过社会革命才成立的概念。 2019-09-17
  • 四川快乐12前三直选走势图:四川快乐十二开奖走势图

    新闻资讯

    四川快乐十二开奖走势图 www.prdj.net 力求视觉与交互的完美契合,以规范的流程和专注的态度,为您提供全方位的设计服务

    【山东网站制作】网站在优化过程中页面抓取过程简述

    来源:武汉网站建设  浏览量:  发布时间:2018-11-08 09:31:20

    url,即统一资源定位符,通过对url的分析,我们可以更好地理解页面抓取过程。今天,小小课堂SEO学网带来的是《页面抓取过程简述》。希望本次的SEO技术培训对大家有所帮助。

    一、url是什么意思?

    URL,英文全称为“uniform resource locator”,中文译为“统一资源定位符”。

    网站优化中要求每一个页面有且仅有一个唯一的统一资源定位符(URL),但往往很多网站同一页面对应了很多个URL,如果都被搜索引擎收录且未做URL转向,就会产生权重不集中的情况,通常称为URL不规范。

    二、url的组成

    统一资源定位符(URL),由三部分组成:协议方案、主机名和资源名。

    例如:

    https:// www.x**.org /11806

    其中https为协议方案,www.***.org 为主机名 ,11806为资源,不过这个资源不太明显,一般资源后缀为.html,当然还可以是.pdf、.php、.word等格式。

    三、页面抓取过程简述

    无论是我们平时用的互联网浏览器,还是网络爬虫,虽然是两种不同的客户端,但获取页面的方式却是相同的。页面抓取过程如下:

    ① 连接DNS域名系统服务器

    客户端都会先连接到DNS域名服务器上,DNS服务器将主机名( www.***.org )转换为IP地址,并反馈给客户端。

    PS:本来我们通过111.152 . 151.45 的地址来访问某网站,为了方便记忆和使用,才利用DNS域名系统转换为了 www.***.org 。这也就是DNS域名系统的作用。

    ② 连接IP地址服务器

    该IP服务器下可能会有很多程序(网站),可以通过端口号来做区分,同时每个程序(网站)都会监听端口是否有新的连接请求,HTTP网站默认为80,HTTPS网站默认为443。

    不过通常情况下,端口号80和443是默认不出现的。

    举例来讲:

    https://www.***.org:443/ = https://www.***.org/

    //www.***.org:80/ = //www.***.org/

    ③ 建立连接并发送页面请求

    客户端与服务器建立连接后,会发送页面请求,通常为get,也可以是post。

    get 11806 HTTPS/1.0

    获取HTTPS协议下的页面11806 返回给客户端。之后如需继续获取更多页面,则发送其他请求,否则将关闭该连接。

    PS:通常情况下 ,/seo/11806.html 可能会更清晰。也就是发送 https://www.***.org/ 下的 seo文件夹下的 11806.html 的页面请求。

    如未特殊注明,文章均来源于网络! 转载请注明来自://www.prdj.net

    这篇文章太赞了我也要点赞!

    11

    郑重声明 Solemn Statement
    本文来源://www.prdj.net 作者:武汉网站建设@武汉站多多 网络营销策划,本文由武汉站多多版权所有,未经批准转载必究。
  • 牛肉-热门标签-华商生活 2019-11-17
  • 五家渠市开展2018年春季动物疫病防控及畜牧业安全生产监督检查工作 2019-11-17
  • 西部网(陕西新闻网)www.cnwest.com 2019-11-11
  • 不忍直视!普京也有控制不了场面的时候 2019-11-11
  • 英媒:中国开放世界最大无轴摩天轮 比“伦敦眼”高10米 2019-11-06
  • 美国又打出2000亿关税牌,中方这300字声明暗藏玄机! 2019-10-21
  • 向青春致敬!大学生图片记录校园24小时故事 2019-10-16
  • 抢“女婿”留“儿子” 山东加入人才争夺战 2019-10-16
  • 通过医疗,住房,都是乘人之危,太缺德,中国历史上绝无仅有。 2019-10-14
  • 85后女青年刘阿娟带领果农发展绿色无公害果品 2019-10-08
  • (原创首发)看《换了人间》有感——蒋介石和国民党依靠歪门邪道夺取天下;毛泽东和共产党依靠正义正气打天下! 2019-10-08
  • 北京市北京龙腾信达综合店【在线咨询】 2019-10-04
  • 柴达木盆地生态保护与治理规划出台 欲提高生物多样性保护 2019-09-23
  • 志愿者送来爱心物资 暖热孤残孩子们的心 2019-09-23
  • 而其实,正所谓资本制度是资本人格化阶级主导一样,现在的人民也不是现成可用的概念,是要经过社会革命才成立的概念。 2019-09-17
  • dnf怎样用真钱换金币 比较稳的彩票app 时时彩稳赚不赔的软件 三中三复式表图片 麻将技巧 京东彩票代购 上海五星体育频道 福彩群英会走势图 免费两组三中三的资料 陕西11选5历史开奖结果 香港马会好彩高手论坛 安徽体彩11选5历史开奖号码 贵州快三走势图手机才版 微彩票 玩博论坛网址