金磊 发自 凹非寺量子位 | 公众号 QbitAI乐鱼三公

当ChatGPT被黑客“入侵”时，OpenAI会怎样打发？

掐断API，不让他们用？不不不。

这帮极客们取舍的作念法可谓是剑走偏锋——反手一记《不绝谈》。

故事是这么的。

OpenAI诚然在发布ChatGPT之前作念了多半的安全性检测，但当盛开API之后，如故防不住一些犯上作乱的黑客们拿它搞事情。

然后有一天，团队中的一个工程师短暂发现ChatGPT端点上的流量有些不太闲居；在历程一番侦察之后，详情了大要率是有东谈主在反向工程API（盗版API）。

不外OpenAI并莫得取舍立即阻遏这些黑客，因为若是团队这么作念了，黑客们就会立地发现异样，然后转变战略络续袭击。

这时，团队里一个“大灵巧”就支了个妙招：

咱们搞成“catGPT”，每个token皆是“meow”……

“陷坑”嘱咐获胜后，黑客大昆仲再向ChatGPT发问时，画风就是这么婶儿的了：

没错，岂论问啥，回话皆是“喵言喵语”：

喵，我不知谈。我是只猫，不是只鸟！

这位黑客大昆仲起初还不知谈我方早已落入“陷坑”，还发帖花式了我方神奇的经历。

不外黑客团伙中很快有东谈主察觉到了异样：

两个代理皆出现了雷同的情况；我以为咱们罢了（流露了）。

团伙中还有东谈主在Discord社区中这么盘考：

昆仲，你以为OpenAI是发现了咱们在（拿盗版API）用模子，然后开动拿“猫语promt”往复话咱们吗？若真如斯，那也太搞笑了吧！

殊不知，OpenAI的成员们早就潜入了Discord社区，不雅望着黑客们的对话……

黑客们最终如故发现了真相，后知后觉的他们，最终在Discord中给OpenAI的团队发话了：

我很失望。我知谈OpenAI的某东谈主正在读这段翰墨。你们有千载难逢的契机给咱们来个“Rick Astley”（发现被整蛊时用的桥段），你们尽然就搞个猫。

皇冠体育hg86a

对此，OpenAI的成员暗意：“收到，下次咱们会的”。

上头这个意旨的故事，其实是一位OpenAI工程师Evan Morikawa在一场时期共享行动中自曝的。

不少网友在看完这个故事之后，纷繁感触谈：

完全的传闻！

诚然故事很精彩、很意旨，不外缺乏无物，这也从侧面反应出了现时大模子期间下所存在的安全隐患。

正如Evan在行动中所说：

跟着模子变得越来越宏大，它们在坏东谈主手中可能形成的伤害变得更大，咱们在这里的警惕性如实需要成倍增多。

除此以外，Evan在行动中还共享了两个与OpenAI、ChatGPT干系的“避讳的故事”。

咱们络续往下看。

OpenAI：GPU够的话，发布早就提前了

Evan先是记忆了ChatGPT领先爆火的盛况：

从里面决定发布，到自后不测走红，就连马斯克皆发推盘考等等。

随之而来的即是多半用户的涌入，那时他们我方也很回顾，因为以他们GPU的才气，完全hold不住那么大的负载。

然后Evan在现场展示了他们为ChatGPT提供能源的规画机，里面有8个英伟达A100 GPU：

每个GPU上还皆附加了迥殊的HPM高带宽内存；至关迫切的是，他们还需要总共GPU互疏通讯：

Evan暗意，里面的每个瓜代的性能皆会影响ChatGPT最终的体验感。

接下来，Evan站在当今这个时刻节点，记忆并总结了OpenAI领先在GPU上所遭遇的瓶颈。

1、GPU内存不及

由于ChatGPT的模子极端大,需要占用多半GPU内存来存储模子权重。而GPU上的高带宽内存极端崇高和有限,不够用来同期干事多半用户恳求。这成为第一个瓶颈。

2、规画后果低下

初期通过浮浅的GPU诓骗率主见监控存在问题,莫得充分探讨到tensor运算的内存探问模式。导致GPU算力莫得被充分诓骗,毁坏了可贵的规画资源。

3、难以扩容

ChatGPT流量暴增,但受限于通盘GPU供应链,短时刻内无法推广GPU干事器数目,不得不摈弃用户探问。无法自动扩容成为要紧挑战。

4、万般化负载特征

跟着用户使用模式的变化,不同模子和恳求类型对GPU的规画形状和内存探问模式需要抑制治愈,优化难度大。

5、差异式检修困难

GPU之间的通讯和数据交换成为检修架构中新的瓶颈。

不错看出，OpenAI开动将GPU用于部署大模子干事时，如实因为阅历不及而遭遇一些系统级别的困难。但通过抑制治愈战略和深化优化，才使ChatGPT得以领略运行。

况兼Evan还爆料说：

若是不是因为GPU繁重，前年居品和功能的发布速率会更快。咱们依然准备好了东西了，但咱们也知谈无法惩处负载。

基于上述的挑战，Evan共享了OpenAI总结出的阅历熟识：

把问题视为系统工程挑战，而不单是是猜想技俩；需要优化各个系统组件的协同责任，如缓存、收集、批惩处大小等。要深化了解硬件的底层细节非常对系统的影响，如GPU内存带宽、ops/bytes等对性能的影响；不成停留在名义主见。不肃除据模子和场景变化对系统进行调优；不同的模子结构和使用场景会对系统冷漠不同条款。要探讨到硬件的万般摈弃，如内存和算力平衡、扩容摈弃等，这会影响居品路子图；不成浮浅地套用传统的云扩展阅历。把ChatGPT当作初创公司

至于团队方面，Evan也有所先容。

ChatGPT启动时，应用工程团队只须30东谈主傍边，发布10个月后才推广到近100东谈主。

OpenAI一直在职工数目增长与保握能手才密度之间寻找平衡，他们领先但愿团队尽可能小，这么不错保握高效的迭代文化。

不事自后跟着居品边界增长，许多职能只须几个东谈主在撑握，这么就会存在一定风险，因此才决定进行一定推广。

Evan关于团队开导方面的共享，有一个不雅点是值得划重心的。

那就是他认为：

不要把ChatGPT当作是OpenAI的一个部门。

他们在三年前就尝试过用API作念访佛ChatGPT的事情，因此在Evan看来——

ChatGPT更像是个10月大的初创公司嵌套到了3年前的初创公司；而这个三年前的初创公司，又嵌套在一个8年前的初创公司（即OpenAI）。

接下来，若是公司还会出现新的居品，Evan但愿如故能够保握沿用这种模式。

参考聚会：[1]https://www.youtube.com/watch?v=PeKMEXUrlq4[2]https://twitter.com/random_walker/status/1719342958137233605?s=20[3]https://twitter.com/nearcyan/status/1719225443788935372?s=20