ChatGPT也BUG？带你走进ChatGPT背后的网络基础设施

香蕉你个吧啦

ChatGPT是OpenAI公司开发的一款聊天机器人应用，自2022年11月推出以来以迅雷不及掩耳盗铃之势火爆全球。ChatGPT不仅可以模仿人类对话，还可以创建音乐、电视剧、童话故事和学生论文，甚至是编写和调试计算机程序。
截至2023年1月，ChatGPT的用户已超过1亿，成为迄今为止增长最快的消费级应用程序。全球海量用户的热情试用不仅让OpenAI公司的市场估值迅速飙升到290亿美元，但是也给后台服务的管理和维护带来了一些困扰。
有网友表示当问ChatGPT“中国足球如何才能捧起大力神杯”等问题时，ChatGPT的回答窗口一片空白。CNBC在2022年12月15日的报道中写道the service still goes down from time to time(服务时常中断)。难道ChatGPT也BUG？


今天小编就拿出我们的谛听从网络性能及用户体验监控平台对ChatGPT来一个基础设施大摸底，来验证下ChatGPT的响应速度、性能如何，它又是如何满足全球大量用户同时使用的？
下面就谛听对ChatGPT相关产品提供对外访问服务的基础设施进行详细梳理，OpenAI目前提供的服务主要有以下四个：
公司官网：
https://openai.com
提供OpenAI公司研究情况、相关产品、收费情况的介绍说明，并提供了API文档和相关产品的入口。
api服务：
https://api.openai.com
提供API访问服务

服务平台：https://platform.openai.com
提供用户登录、API文档说明、常用示例等功能

ChatGPT:
https://chat.openai.com
提供ChatGPT产品服务
我们首先使用查询一下openai的权威域名服务器：
$ nslookup -type=NS http://openai.com  
Non-authoritative answer:  
http://openai.com      nameserver = ns2-02.azure-dns.net.  
http://openai.com      nameserver = ns3-02.azure-dns.org.  
http://openai.com      nameserver = ns4-02.azure-dns.info.  
http://openai.com      nameserver = ns1-02.azure-dns.com.
从名称上可以看出来它是由微软Azure云平台提供的DNS解析服务，然后我们使用IP定位服务对这四台域名解析服务器的IP进行定位，发现它们都属于AS8086自治系统，位于美国微软公司的云网络中。
接下来，我们在谛听系统中对OpenAI相关的服务进行监测：
ChatGPT监控

我们从位于全球各地的10个城市中对ChatGpt的服务页面进行访问，响应的服务器IP有两个104.18.2.161、104.18.3.161，它们同样属于Cloudflare公司，并且使用了Cloudflare提供的CDN加速服务。
网络层面上，从全球各地访问都是比较顺畅的，详情如下图所示：


但是，在应用层面上，ChatGPT不仅会对访问者的IP进行限制，还会对用户的访问环境进行限制。在用户环境限制上，不允许使用自动化工具，比如Selenium进行访问，在IP限制方面，无法从中国大陆、中国香港、中国台湾以及俄罗斯等地区访问。访问界面如下所示：


官网监控

我们在谛听系统中从全球12个不同的城市发起了对openai官网的监控，响应的服务器IP至少有8个，比如13.107.238.46、13.107.238.59。通过对这些IP进行定位，发现这些服务器都位于美国微软公司的Azure云网络中，另外在HTTP响应头中也带有X-Azure-Ref标识，这也说明了http://openai.com是通过Azure云平台来提供服务的，另外由于响应IP与请求位置有关，所以推测是使用了Azure中的CDN服务。
从探测机到http://openai.com服务器的路径图如下所示：


可以看到在网络层面上全球各地都可以访问openai官网，但国内访问时延迟明显稍高，在70ms左右。另外下图说明了在Web服务层面上，全球各地也都是可以访问的。


API服务监控

我们同样从12个城市对openai的api接口服务发起监测，响应的服务器IP只有一个52.152.96.252，它属于微软Azure云网络，位于美国圣安东尼奥市。猜测是由于API服务的用户量比较少，所以并没有部署CDN加速服务。
从全球各地的探测机到api服务器的丢包、时延、抖动如下图所示：


可以看到网络是比较稳定的，丢包很少。但从美国以外的国家访问时时延是比较高的，大概在150~200ms。
在接口服务层面上，在全球多个城市都可以正常调用。并没有限制访问。


平台监控

针对http://platform.openai.com服务，我们从全球12个城市的探测机发起监测，可以看到响应的服务器IP只有两个104.18.1.104 、104.18.0.104。对这两个IP进行定位查询，发现它们位于美国，属于Cloudflare公司，openai在这里使用了Cloudflare提供的负载均衡功能。
在下图的网络路径中可以看到，从全球各地到Cloudflare中的服务器的时延都是比较低的(50ms以内)，所以推测它可能使用了Cloudflare提供的CDN加速服务。


在web服务层面上，位于全球各地的探测机都可以正常访问http://platform.openai.com服务中的功能。


上层AS拓扑分析

在AS层面上，openai相关服务主要位于微软的AS8075以及Cloudflare的AS13335。
AS8075中具有196个互联网交换点，IPv4前缀有349个，IPv6前缀有23个。BGP对等AS有386个，主要如下图所示：


相关AS拓扑图如下所示：


AS13335中具有285个互联网交换点，IPv4前缀1777个，IPv6前缀1355个，与其构成BGP Peer关系的AS共有1264个，相关AS的拓扑结构如下图所示：


总结

通过谛听的检测结果可以看到OpenAI的ChatGpt服务目前主要是通过Cloudflare的CDN加速服务来向全球各地的用户提供访问服务的，不过，比较遗憾的是并没有对中国地区开放。其他的诸如官网和API等服务则通过微软的Azure云平台对外提供服务，并且使用Azure的DNS解析服务进行OpenAI的域名解析。通俗的讲，ChatGPT 的API响应速度相对比较稳定，丢包率低。
截至目前为止，关于ChatGPT中断的相关报道已经越来越少，这也说明ChatGPT在基础设施服务上做的越来越完善了。
随着微软加大对OpenAI的投资，微软作为OpenAI的主要股东及首选商业合作伙伴，并且拥有GTP-3的独家授权，未来Azure云平台可能会托管openai更多的相关产品和服务。此外，随着ChatGPT API的衍生产品越来越多，其API服务的负载也会越来越高，估计很快就会采用CDN提供全球加速服务。
所以ChatGPT 的空白和沉默很有可能是大家的提问过于离谱,于是它选择了此时无声胜有声。


但是对于ChatGPT 火爆最终还是回归到了AI是否会代替人类这个永恒不变的话题。以目前的情况来看，ChatGPT比起以往的AI确实是有一定的提升，只要问题描述精准，可以帮你写作文、做表、写诗等等。
只是现实往往比较复杂，例如甲方需要的五彩斑斓的黑、ChatGPT出了七八版方案之后领导表示还要第一版，字再大点等情况，很容易把ChatGPT的CPU干烧啊....
现阶段的AI能否代替人类，结果显而易见。