透视http协议 (一)

Created2021-06-05Updated2021-07-08

HTTP的前世今生

HTTP 协议是怎么来的？它最开始是什么样子的？又是如何一步一步发展到今天，几乎“统治”了整个互联网世界的呢？

史前时期

20 世纪 60 年代，美国国防部高等研究计划署（ARPA）建立了 ARPA 网，它有四个分布在各地的节点，被认为是如今互联网的“始祖”。

创世纪

1989 年，任职于欧洲核子研究中心（CERN）的蒂姆·伯纳斯 - 李（Tim Berners-Lee）发表了一篇论文，提出了在互联网上构建超链接文档系统的构想。这篇论文中他确立了三项关键技术。

  1. URI：即统一资源标识符，作为互联网上资源的唯一身份；
  2. HTML：即超文本标记语言，描述超文本文档；
  3. HTTP：即超文本传输协议，用来传输超文本。

基于它们，就可以把超文本系统完美地运行在互联网上，让各地的人们能够自由地共享信息，蒂姆把这个系统称为“万维网”（World Wide Web），也就是我们现在所熟知的 Web。

HTTP/0.9

20 世纪 90 年代初期的互联网世界非常简陋，计算机处理能力低，存储容量小，网速很慢，还是一片“信息荒漠”。网络上绝大多数的资源都是纯文本，很多通信协议也都使用纯文本，所以 HTTP 的设计也不可避免地受到了时代的限制。

这一时期的 HTTP 被定义为 0.9 版，结构比较简单，为了便于服务器和客户端处理，它也采用了纯文本格式。所以只允许用“GET”动作从服务器上获取 HTML 文档，并且在响应请求之后立即关闭连接，功能非常有限。

HTTP/1.0

1993 年，NCSA（美国国家超级计算应用中心）开发出了 Mosaic，是第一个可以图文混排的浏览器，随后又在 1995 年开发出了服务器软件 Apache，简化了 HTTP 服务器的搭建工作。

同一时期，计算机多媒体技术也有了新的发展：1992 年发明了 JPEG 图像格式，1995 年发明了 MP3 音乐格式。

更的多的人开始使用互联网,促进了 HTTP 的发展。于是在这些已有实践的基础上，经过一系列的草案，HTTP/1.0 版本在 1996 年正式发布。它在多方面增强了 0.9 版，形式上已经和我们现在的 HTTP 差别不大了，例如：

  1. 增加了 HEAD、POST 等新方法；
  2. 增加了响应状态码，标记可能的错误原因；
  3. 引入了协议版本号概念；
  4. 引入了 HTTP Header（头部）的概念，让 HTTP 处理请求和响应更加灵活；
  5. 传输的数据不再仅限于文本。

HTTP/1.1

1999 年，HTTP/1.1 发布了 RFC 文档,编号为 2616。HTTP/1.1 是对 HTTP/1.0 的小幅度修正，它是一个“正式的标准”，而不是一份可有可无的“参考文档”。意味着今后互联网上所有的浏览器、服务器、网关、代理等等，只要用到 HTTP 协议，就必须严格遵守这个标准，相当于是互联网世界的一个“立法”。

HTTP/1.1 主要的变更点有：

  1. 增加了 PUT、DELETE 等新的方法；
  2. 增加了缓存管理和控制；明确了连接管理，允许持久连接；
  3. 允许响应数据分块（chunked），利于传输大文件；
  4. 强制要求 Host 头，让互联网主机托管成为可能。

HTTP/2

Google 首先开发了自己的浏览器 Chrome，然后推出了新的 SPDY 协议，互联网标准化组织以 SPDY 为基础开始制定新版本的 HTTP 协议，最终在 2015 年发布了 HTTP/2，RFC 编号 7540。

HTTP/2 的制定充分考虑了现今互联网的现状：宽带、移动、不安全，在高度兼容 HTTP/1.1 的同时在性能改善方面做了很大努力，主要的特点有：

  1. 二进制协议，不再是纯文本；
  2. 可发起多个请求，废弃了 1.1 里的管道；
  3. 使用专用算法压缩头部，减少数据传输量；
  4. 允许服务器主动向客户端推送数据；增强了安全性，“事实上”要求加密通信。

HTTP/3

Google 发明的另一个个新的协议 QUIC （Quick UDP Internet Connection）,2018 年，互联网标准化组织 IETF 提议将“HTTP over QUIC”更名为“HTTP/3”并获得批准，HTTP/3 正式进入了标准化制订阶段。

小结

  1. HTTP 协议始于三十年前蒂姆·伯纳斯 - 李的一篇论文；
  2. HTTP/0.9 是个简单的文本协议，只能获取文本资源；
  3. HTTP/1.0 确立了大部分现在使用的技术，但它不是正式标准；
  4. HTTP/1.1 是目前互联网上使用最广泛的协议，功能也非常完善；
  5. HTTP/2 基于 Google 的 SPDY 协议，注重性能改善，但还未普及；
  6. HTTP/3 基于 Google 的 QUIC 协议，是将来的发展方向。

HTTP是什么？HTTP又不是什么？

HTTP 就是超文本传输协议，也就是 HyperText Transfer Protocol。

HTTP 是什么

“超文本传输协议”，分别是：“超文本”“传输”和“协议”

HTTP 是一个协议

HTTP 是一个用在计算机世界里的协议。它使用计算机能够理解的语言确立了一种计算机之间交流通信的规范，以及相关的各种控制和错误处理方式。

HTTP 是一个“传输协议”

HTTP 是一个在计算机世界里专门用来在两点之间传输数据的约定和规范。

超文本

所谓“超文本”，就是“超越了普通文本的文本”，它是文字、图片、音频和视频等的混合体，最关键的是含有“超链接”，能够从一个“超文本”跳跃到另一个“超文本”，形成复杂的非线性、网状的结构关系。

HTTP（超文本传输协议）的定义
HTTP 是一个在计算机世界里专门在两点之间传输文字、图片、音频、视频等超文本数据的约定和规范。

HTTP 不是什么？

HTTP 是一个协议，不存在“单独的实体”。它不是浏览器、手机 APP 那样的应用程序，也不是 Windows、Linux 那样的操作系统，更不是 Apache、Nginx、Tomcat 那样的 Web 服务器。

  • HTTP 不是互联网。
  • HTTP 不是编程语言
  • HTTP 不是 HTML
  • HTTP 不是一个孤立的协议

在互联网世界里，HTTP 通常跑在 TCP/IP 协议栈之上，依靠 IP 协议实现寻址和路由、TCP 协议实现可靠数据传输、DNS 协议实现域名查找、SSL/TLS 协议实现安全通信。此外，还有一些协议依赖于 HTTP，例如 WebSocket、HTTPDNS 等。这些协议相互交织，构成了一个协议网，而 HTTP 则处于中心地位。

小结

  • HTTP 是一个用在计算机世界里的协议，它确立了一种计算机之间交流通信的规范，以及相关的各种控制和错误处理方式。
  • HTTP 专门用来在两点之间传输数据，不能用于广播、寻址或路由。
  • HTTP 传输的是文字、图片、音频、视频等超文本数据。
  • HTTP 是构建互联网的重要基础技术，它没有实体，依赖许多其他的技术来实现，但同时许多技术也都依赖于它。

HTTP世界全览 - 上

介绍HTTP 相关的各种概念和角色，清楚它们在链路中的位置和作用，以及发起一个 HTTP 请求会有哪些角色参与，会如何影响请求的处理。

网络世界

互联网的正式名称是 Internet，里面存储着无穷无尽的信息资源，我们通常所说的“上网”实际上访问的只是互联网的一个子集“万维网”（World Wide Web），它基于 HTTP 协议，传输 HTML 等超文本资源，能力也就被限制在 HTTP 协议之内。

互联网上还有许多万维网之外的资源，例如常用的电子邮件、BT 和 Magnet 点对点下载、FTP 文件下载、SSH 安全登录、各种即时通信服务等等，它们需要用各自的专有协议来访问。

浏览器

上网就要用到浏览器，常见的浏览器有 Google 的 Chrome、Mozilla 的 Firefox、Apple 的 Safari、Microsoft 的 IE 和 Edge，浏览器的正式名字叫“Web Browser”，就是检索、查看互联网上网页资源的应用程序，名字里的 Web，实际上指的就是“World Wide Web”，也就是万维网。

浏览器本质上是一个 HTTP 协议中的请求方，使用 HTTP 协议获取网络上的各种资源。例如，HTML 排版引擎用来展示页面，JavaScript 引擎用来实现动态化效果，还有开发者工具用来调试网页。

在 HTTP 协议里，浏览器的角色被称为“User Agent”即“用户代理”，意思是作为访问者的“代理”来发起 HTTP 请求。通常都简单地称之为“客户端”。

Web 服务器

协议另一端的应答方（响应方）就是服务器，Web Server。

Web 服务器 有两个层面的含义：硬件和软件。

硬件含义就是物理形式或“云”形式的机器，在大多数情况下它可能不是一台服务器，而是利用反向代理、负载均衡等技术组成的庞大集群。
软件是提供 Web 服务的应用程序，通常会运行在硬件含义的服务器上。响应海量的客户端 HTTP 请求，处理磁盘上的网页、图片等静态文件，或者把请求转发给后面的 Tomcat、Node.js 等业务应用，返回动态的信息。

CDN

浏览器通常不会直接连到服务器，中间会经过“重重关卡”，其中的一个重要角色就叫做 CDN。

CDN，全称是“Content Delivery Network”，翻译过来就是“内容分发网络”。它应用了 HTTP 协议里的缓存和代理技术，代替源站响应客户端的请求。

CDN 可以缓存源站的数据，可以找到离用户最近的节点，大幅度缩短响应时间。

HTML/WebService/WAF

HTML 是 HTTP 协议传输的主要内容之一，它描述了超文本页面，用各种“标签”定义文字、图片等资源和排版布局，最终由浏览器“渲染”出可视化页面。

Web Service 是一种由 W3C 定义的应用服务开发规范，使用 client-server 主从架构，通常使用 WSDL 定义服务接口，使用 HTTP 协议传输 XML 或 SOAP 消息，它是一个基于 Web（HTTP）的服务架构技术，既可以运行在内网，也可以在适当保护后运行在外网。

WAF 是“网络应用防火墙”。与硬件“防火墙”类似，它是应用层面的“防火墙”，专门检测 HTTP 流量，是防护 Web 应用的安全技术。

WAF 通常位于 Web 服务器之前，可以阻止如 SQL 注入、跨站脚本等攻击，目前应用较多的一个开源项目是 ModSecurity，它能够完全集成进 Apache 或 Nginx。

  1. 互联网上绝大部分资源都使用 HTTP 协议传输；
  2. 浏览器是 HTTP 协议里的请求方，即 User Agent；
  3. 服务器是 HTTP 协议里的应答方，常用的有 Apache 和 Nginx；
  4. CDN 位于浏览器和服务器之间，主要起到缓存加速的作用；
  5. 爬虫是另一类 User Agent，是自动访问网络资源的程序。

HTTP世界全览 - 下

与HTTP 相关的 TCP/IP、DNS、URI、HTTPS 等相关协议介绍。

TCP/IP

TCP/IP 协议实际上是一系列网络通信协议的统称，其中最核心的两个协议是 TCP 和 IP，其他的还有 UDP、ICMP、ARP 等等，共同构成了一个复杂但有层次的协议栈。

这个协议栈有四层，最上层是“应用层”，最下层是“链接层”，TCP 和 IP 则在中间：TCP 属于“传输层”，IP 属于“网际层”。

IP 协议是“Internet Protocol”的缩写，主要目的是解决寻址和路由问题，以及如何在两点间传送数据包。IP 协议使用“IP 地址”的概念来定位互联网上的每一台计算机。

现在我们使用的 IP 协议大多数是 v4 版，地址是四个用“.”分隔的数字，例如“192.168.0.1”，总共有 2^32，大约 42 亿个可以分配的地址。但互联网的快速发展让地址的分配管理很快就耗尽了，所以，就又出现了 v6 版，使用 8 组“:”分隔的数字作为地址，容量扩大了很多，有 2^128 个。

TCP 协议是“Transmission Control Protocol”的缩写，意思是“传输控制协议”，它位于 IP 协议之上，基于 IP 协议提供可靠的、字节流形式的通信，是 HTTP 协议得以实现的基础。

“可靠”是指保证数据不丢失，“字节流”是指保证数据完整，所以在 TCP 协议的两端可以如同操作文件一样访问传输的数据，就像是读写在一个密闭的管道里“流动”的字节。

HTTP 是一个”传输协议”，但它不关心寻址、路由、数据完整性等传输细节，而要求这些工作都由下层来处理。因为互联网上最流行的是 TCP/IP 协议，而它刚好满足 HTTP 的要求，所以互联网上的 HTTP 协议就运行在了 TCP/IP 上，HTTP 也就可以更准确地称为“HTTP over TCP/IP”。

DNS

域名系统（Domain Name System），为了将一串无意义的数字通过一串有意义的字符表示更好的记忆。

在 DNS 中，“域名”（Domain Name）又称为“主机名”（Host），为了更好地标记不同国家或组织的主机，让名字更好记，所以被设计成了一个有层次的结构。

域名用“.”分隔成多个单词，级别从左到右逐级升高，最右边的被称为“顶级域名”。如表示商业公司的“com”、表示教育机构的“edu”，表示国家的“cn”“uk”等。

想要使用 TCP/IP 协议来通信仍然要使用 IP 地址，所以需要把域名做一个转换，“映射”到它的真实 IP，这就是“域名解析”。

目前全世界有 13 组根 DNS 服务器，下面再有许多的顶级 DNS、权威 DNS 和更小的本地 DNS，逐层递归地实现域名查询。

HTTP 协议中并没有明确要求必须使用 DNS，但实际上为了方便访问互联网上的 Web 服务器，通常都会使用 DNS 来定位或标记主机名，间接地把 DNS 与 HTTP 绑在了一起。

URI/URL

URI（Uniform Resource Identifier），中文名称是 统一资源标识符，使用它就能够唯一地标记互联网上资源。

URI 另一个更常用的表现形式是 URL（Uniform Resource Locator）， 统一资源定位符，也就是我们俗称的“网址”，它实际上是 URI 的一个子集，不过这两者几乎是相同的，差异不大，所以通常不会做严格的区分。

如：

1
http://nginx.org/en/download.html

可以看到，URI 主要有三个基本的部分构成：

  1. 协议名：即访问该资源应当使用的协议，在这里是“http”；
  2. 主机名：即互联网上主机的标记，可以是域名或 IP 地址，在这里是“nginx.org”；
  3. 路径：即资源在主机上的位置，使用“/”分隔多级目录，在这里是“/en/download.html”。

HTTPS

HTTPS 它的全称是“HTTP over SSL/TLS”，也就是运行在 SSL/TLS 协议上的 HTTP。

这里是 SSL/TLS，而不是 TCP/IP，它是一个负责加密通信的安全协议，建立在 TCP/IP 之上，所以也是个可靠的传输协议，可以被用作 HTTP 的下层。HTTPS 相当于“HTTP+SSL/TLS+TCP/IP”。

SSL 的全称是“Secure Socket Layer”，由网景公司发明，当发展到 3.0 时被标准化，改名为 TLS，即“Transport Layer Security”，但由于历史的原因还是有很多人称之为 SSL/TLS，或者直接简称为 SSL。

SSL 使用了许多密码学最先进的研究成果，综合了对称加密、非对称加密、摘要算法、数字签名、数字证书等技术，能够在不安全的环境中为通信的双方创建出一个秘密的、安全的传输通道，为 HTTP 套上一副坚固的盔甲。

浏览器地址栏，如果有一个小锁头标志，那就表明网站启用了安全的 HTTPS 协议，而 URI 里的协议名，也从“http”变成了“https”。

代理

代理（Proxy）是 HTTP 协议中请求方和应答方中间的一个环节，作为“中转站”，既可以转发客户端的请求，也可以转发服务器的应答。

代理有很多的种类，常见的有：

  1. 匿名代理：完全“隐匿”了被代理的机器，外界看到的只是代理服务器；
  2. 透明代理：顾名思义，它在传输过程中是“透明开放”的，外界既知道代理，也知道客户端；
  3. 正向代理：靠近客户端，代表客户端向服务器发送请求；
  4. 反向代理：靠近服务器端，代表服务器响应客户端的请求；

CDN，实际上就是一种代理，它代替源站服务器响应客户端的请求，通常扮演着透明代理和反向代理的角色。

由于代理在传输过程中插入了一个“中间层”，所以可以在这个环节做很多事情，比如：

  1. 负载均衡：把访问请求均匀分散到多台机器，实现访问集群化；
  2. 内容缓存：暂存上下行的数据，减轻后端的压力；
  3. 安全防护：隐匿 IP, 使用 WAF 等工具抵御网络攻击，保护被代理的机器；
  4. 数据处理：提供压缩、加密等额外的功能。

关于 HTTP 的代理还有一个特殊的“代理协议”（proxy protocol），它由知名的代理软件 HAProxy 制订。

小结

  1. TCP/IP 是网络世界最常用的协议，HTTP 通常运行在 TCP/IP 提供的可靠传输基础上；
  2. DNS 域名是 IP 地址的等价替代，需要用域名解析实现到 IP 地址的映射；
  3. URI 是用来标记互联网上资源的一个名字，由“协议名 + 主机名 + 路径”构成，俗称 URL；
  4. HTTPS 相当于“HTTP+SSL/TLS+TCP/IP”，为 HTTP 套了一个安全的外壳；
  5. 代理是 HTTP 传输过程中的“中转站”，可以实现缓存加速、负载均衡等功能。

小贴士

  • IP 协议曾经有v1,v2, v3等早期版本，但因为不够完善而没有对外发布。而v5 则是仅用于实验室内部研究，从未公开，所以我们看到的只有v4和v6两个版本。
  • 2011年2月互联网组织ICANN 正式宣布IPV4 地址被”用尽”
  • 如果使用 UNIX/Linux 操作系统，HTTP可以运行在本机的 UNIX Domain Socket 上，它也是一种进程间通信机制，但也可以满足HTTP 对下层对可靠传输要求，所以就成了”HTTP over UNIX Domain Soocket”。

常说的“四层”和“七层”到底是什么？

TCP/IP 协议，它是 HTTP 协议的下层协议，负责具体的数据传输工作。强调了 TCP/IP 协议是一个 “有层次的协议栈”。

TCP/IP 网络分层模型

TCP/IP 创造性地提出了“分层”的概念，把复杂的网络通信划分出多个层次，再给每一个层次分配不同的职责，用“分而治之”的思想把一个“大麻烦”拆分成了数个“小麻烦”，从而解决了网络通信的难题。

如图所示：

TCP/IP 协议总共有四层，每一层需要下层的支撑，同时又支撑着上层，任何一层被抽掉都可能会导致整个协议栈坍塌。

从下往上看：

第一层叫“链接层”（link layer），负责在以太网、WiFi 这样的底层网络上发送原始数据包，工作在网卡这个层次，使用 MAC 地址来标记网络上的设备，所以有时候也叫 MAC 层。

第二层叫“网际层”或者“网络互连层”（internet layer），IP 协议就处在这一层。因为 IP 协议定义了“IP 地址”的概念，所以就可以在“链接层”的基础上，用 IP 地址取代 MAC 地址，把许许多多的局域网、广域网连接成一个虚拟的巨大网络，在这个网络里找设备时只要把 IP 地址再“翻译”成 MAC 地址就可以了。

第三层叫“传输层”（transport layer），这个层次协议的职责是保证数据在 IP 地址标记的两点之间“可靠”地传输，是 TCP 协议工作的层次，另外还有它的一个“小伙伴”UDP。

TCP 是一个有状态的协议，需要先与对方建立连接然后才能发送数据，而且保证数据不丢失不重复。而 UDP 则比较简单，它无状态，不用事先建立连接就可以任意发送数据，但不保证数据一定会发到对方。两个协议的另一个重要区别在于数据的形式。TCP 的数据是连续的“字节流”，有先后顺序，而 UDP 则是分散的小数据包，是顺序发，乱序收。

协议栈的第四层叫“应用层”（application layer），有各种面向具体应用的协议。例如 Telnet、SSH、FTP、SMTP 等等，当然还有 HTTP。

MAC 层的传输单位是帧（frame），IP 层的传输单位是包（packet），TCP 层的传输单位是段（segment），HTTP 的传输单位则是消息或报文（message）。但这些名词并没有什么本质的区分，可以统称为数据包。

OSI 网络分层模型

OSI，全称是“开放式系统互联通信参考模型”（Open System Interconnection Reference Model）。

OSI 模型分成了七层，部分层次与 TCP/IP 很像，从下到上分别是：

  1. 第一层：物理层，网络的物理形式，例如电缆、光纤、网卡、集线器等等；
  2. 第二层：数据链路层，它基本相当于 TCP/IP 的链接层；
  3. 第三层：网络层，相当于 TCP/IP 里的网际层；
  4. 第四层：传输层，相当于 TCP/IP 里的传输层；
  5. 第五层：会话层，维护网络中的连接状态，即保持会话和同步；
  6. 第六层：表示层，把数据转换为合适、可理解的语法和语义；
  7. 第七层：应用层，面向具体的应用传输数据。

两个分层模型的映射关系

  1. 第一层：物理层，TCP/IP 里无对应；
  2. 第二层：数据链路层，对应 TCP/IP 的链接层；
  3. 第三层：网络层，对应 TCP/IP 的网际层；
  4. 第四层：传输层，对应 TCP/IP 的传输层；
  5. 第五、六、七层：统一对应到 TCP/IP 的应用层。

OSI 的分层模型在四层以上分的太细，而 TCP/IP 实际应用时的会话管理、编码转换、压缩等和具体应用经常联系的很紧密，很难分开。例如，HTTP 协议就同时包含了连接管理和数据格式定义

“四层负载均衡”就是指工作在传输层上，基于 TCP/IP 协议的特性，例如 IP 地址、端口号等实现对后端服务器的负载均衡。

“七层负载均衡”就是指工作在应用层上，看到的是 HTTP 协议，解析 HTTP 报文里的 URI、主机名、资源类型等数据，再用适当的策略转发给后端服务器。

TCP/IP 协议栈的工作方式

发送数据的过程：

  1. 在应用层，HTTP 协议为它加一个 HTTP 专用附加数据
  2. 在 TCP 层给数据再次打包，加上了 TCP 头
  3. IP 层为TCP 数据包加上了 IP 头
  4. MAC 层对TCP 数据包加上MAC 头
  5. 之后经过网络传输到达重点
  6. 目标服务经过拆包 去掉 mac头 ip头和TCP头 获取到真正数据

HTTP 协议的传输过程就是这样通过协议栈逐层向下，每一层都添加本层的专有数据，层层打包，然后通过下层发送出去。

接收数据则是相反的操作，从下往上穿过协议栈，逐层拆包，每层去掉本层的专有头，上层就会拿到自己的数据。

小结

  1. TCP/IP 分为四层，核心是二层的 IP 和三层的 TCP，HTTP 在第四层；
  2. OSI 分为七层，基本对应 TCP/IP，TCP 在第四层，HTTP 在第七层；
  3. OSI 可以映射到 TCP/IP，但这期间一、五、六层消失了；
  4. 日常交流的时候我们通常使用 OSI 模型，用四层、七层等术语；
  5. HTTP 利用 TCP/IP 协议栈逐层打包再拆包，实现了数据传输，但下面的细节并不可见。

辨别四层和七层比较好的（但不是绝对的）小窍门，“两个凡是”：

  • 凡是由操作系统负责处理的就是四层或四层以下
  • 凡是需要由应用程序（也就是你自己写代码）负责处理的就是七层。

小贴士

  1. MAC地址（Media Access Control Address）也称为局域网地址，可以唯一的标识一个网卡，也就同时标识了此网卡的设备。
  2. 在 TCP/IP 协议栈之外，还有一些协议位于OSI 五层和六层的，例如：UNIX 域套接字就可以认为是在五层。

域名里有哪些门道？

域名的形式

域名是一个有层次的结构，是一串用“.”分隔的多个单词，最右边的被称为“顶级域名”，然后是“二级域名”，层级关系向左依次降低。

最左边的是主机名，通常用来表明主机的用途，比如“www”表示提供万维网服务、“mail”表示提供邮件服务。

如： time.geekbang.org 这里的“org”就是顶级域名，“geekbang”是二级域名，“time”则是主机名。

域名不仅能够代替 IP 地址，还有许多其他的用途

在 Apache、Nginx 这样的 Web 服务器里，域名可以用来标识虚拟主机，决定由哪个虚拟主机来对外提供服务，比如在 Nginx 里就会使用“server_name”指令：

1
2
3
4
5
server {
    listen 80;                       #监听80端口
    server_name  time.geekbang.org;  #主机名是time.geekbang.org
    ...
}

域名的解析

就像 IP 地址必须转换成 MAC 地址才能访问主机一样，域名也必须要转换成 IP 地址，这个过程就是“域名解析”。

DNS 的核心系统是一个三层的树状、分布式服务，基本对应域名的结构：

  1. 根域名服务器（Root DNS Server）：管理顶级域名服务器，返回“com”“net”“cn”等顶级域名服务器的 IP 地址；
  2. 顶级域名服务器（Top-level DNS Server）：管理各自域名下的权威域名服务器，比如 com 顶级域名服务器可以返回 apple.com 域名服务器的 IP 地址；
  3. 权威域名服务器（Authoritative DNS Server）：管理自己域名下主机的 IP 地址，比如 apple.com 权威域名服务器可以返回 www.apple.com 的 IP 地址。

目前全世界共有 13 组根域名服务器，又有数百台的镜像，保证一定能够被访问到。

例如，你要访问“www.apple.com”，就要进行下面的三次查询：

  1. 访问根域名服务器，它会告诉你“com”顶级域名服务器的地址；
  2. 访问“com”顶级域名服务器，它再告诉你“apple.com”域名服务器的地址；
  3. 最后访问“apple.com”域名服务器，就得到了“www.apple.com”的地址。

在核心 DNS 系统之外，还有两种手段用来减轻域名解析的压力，并且能够更快地获取结果，基本思路就是“缓存”。

许多大公司、网络运行商都会建立自己的 DNS 服务器，作为用户 DNS 查询的代理，代替用户访问核心 DNS 系统。这些“野生”服务器被称为“非权威域名服务器”，可以缓存之前的查询结果，如果已经有了记录，就无需再向根服务器发起查询，直接返回对应的 IP 地址。

这些 DNS 服务器的数量要比核心系统的服务器多很多，而且大多部署在离用户很近的地方。比较知名的 DNS 有 Google 的“8.8.8.8”，Microsoft 的“4.2.2.1”，还有 CloudFlare 的“1.1.1.1”等等。

其次，操作系统里也会对 DNS 解析结果做缓存，如果你之前访问过“www.apple.com”，那么下一次在浏览器里再输入这个网址的时候就不会再跑到 DNS 那里去问了，直接在操作系统里就可以拿到 IP 地址。

另外，操作系统里还有一个特殊的“主机映射”文件，通常是一个可编辑的文本，在 Linux 里是“/etc/hosts”，在 Windows 里是“C:\WINDOWS\system32\drivers\etc\hosts”，如果操作系统在缓存里找不到 DNS 记录，就会找这个文件。

有了上面的“野生”DNS 服务器、操作系统缓存和 hosts 文件后，很多域名解析的工作直接在本地或本机就能解决，不仅方便了用户，也减轻了各级 DNS 服务器的压力。

如图：完整地表示了现在的 DNS 架构。

在 Nginx 里有这么一条配置指令“resolver”，它就是用来配置 DNS 服务器的，如果没有它，那么 Nginx 就无法查询域名对应的 IP，也就无法反向代理到外部的网站。

1
resolver 8.8.8.8 valid=30s;  #指定Google的DNS，缓存30秒

域名的“新玩法”

第一种，也是最简单的，“重定向”。因为域名代替了 IP 地址，所以可以让对外服务的域名不变，而主机的 IP 地址任意变动。当主机有情况需要下线、迁移时，可以更改 DNS 记录，让域名指向其他的机器。

第二种，因为域名是一个名字空间，所以可以使用 bind9 等开源软件搭建一个在内部使用的 DNS，作为名字服务器。这样我们开发的各种内部服务就都用域名来标记，比如数据库服务都用域名“mysql.inner.app”，商品服务都用“goods.inner.app”，发起网络通信时也就不必再使用写死的 IP 地址了，可以直接用域名。

第三种“玩法”包含了前两种，也就是基于域名实现的负载均衡。

这种“玩法”也有两种方式，两种方式可以混用。

第一种方式，因为域名解析可以返回多个 IP 地址，所以一个域名可以对应多台主机，客户端收到多个 IP 地址后，就可以自己使用轮询算法依次向服务器发起请求，实现负载均衡。

第二种方式，域名解析可以配置内部的策略，返回离客户端最近的主机，或者返回当前服务质量最好的主机，这样在 DNS 端把请求分发到不同的服务器，实现负载均衡。

恶意的“玩法”

  • “域名屏蔽”，对域名直接不解析，返回错误，让你无法拿到 IP 地址，也就无法访问网站；
  • “域名劫持”，也叫“域名污染”，你要访问 A 网站，但 DNS 给了你 B 网站。

小结

  1. 域名使用字符串来代替 IP 地址，方便用户记忆，本质上一个名字空间系统；
  2. DNS 就像是我们现实世界里的电话本、查号台，统管着互联网世界里的所有网站，是一个“超级大管家”；
  3. DNS 是一个树状的分布式查询系统，但为了提高查询效率，外围有多级的缓存；
  4. 使用 DNS 可以实现基于域名的负载均衡，既可以在内网，也可以在外网。

小贴士

域名的总长度限制在253个字符以内，而每一级域名长度不能超过63个字符。

课程来源

https://time.geekbang.org/column/intro/100029001

欢迎大家订购，一块儿学习，共同进步。

Search by:GoogleBingBaidu