这几天轰动硅谷的GPT-3是什么来头？

　　相信不太了解AI的朋友这几天也或多或少看到了一些关于GPT-3的重磅消息，甚至有媒体称其为“继比特币之后又一个轰动全球的现象级新技术”。

　　请注意，现在站在你面前的是：互联网原子弹，人工智能界的卡丽熙，算力吞噬者，黄仁勋的新KPI，下岗工人制造机，幼年期的天网——最先进的AI语言模型GPT-3。

　　1750亿参数组成的训练模型

　　言归正传，OpenAI的研究人员在上个月发表了一篇论文，描述了GPT-3的开发，正式发布了这个由1750亿个参数组成的AI语言模型。

　　在NLP领域中，通常采用ELMo算法的思想，即通过在大量的语料上预训练语言模型，然后再将预训练好的模型迁移到具体的下游NLP任务，从而提高模型的能力。GPT模型是OpenAI在2018年提出的一种新的ELMo算法模型，该模型在预训练模型的基础上，只需要做一些微调即可直接迁移到各种NLP任务中，因此具有很强的业务迁移能力。

　　GPT模型主要包含两个阶段。第一个阶段，先利用大量未标注的语料预训练一个语言模型，接着，在第二个阶段对预训练好的语言模型进行微改，将其迁移到各种有监督的NLP任务，并对参数进行fine-tuning。

　　简而言之，在算法固定的情况下，预训练模型使用的训练材料越多，则训练好的模型任务完成准确率也就越高。

　　那么1750亿是什么概念？曾有人开玩笑说，“要想提高AI的准确率，让它把所有的测试数据都记下来不就行了？”没想到如今真有人奔着这个目标去做了……

　　在GPT-3之前，最大的AI语言模型是微软在今年2月推出的TuringNLG，当时拥有170亿参数的TuringNLG已经标榜是第二名Megatron-LM的两倍。没错，仅短短5个月的时间，GPT-3就将头号玩家的参数提高了10倍！Nivdia的黄老板看了看年初刚画的产品算力曲线，发现事情并不简单。

　　OpenAI曾于2019年初发布GPT-2，这一基于Transformer的大型语言模型共包含15亿参数、在一个800万网页数据集上训练而组成，这在当时就已经引起了不小的轰动。整个2019年，GPT-2都是NLP界最耀眼的明星之一，与BERT、TransformerXL、XLNet等大型自然语言处理模型轮番在各大自然语言处理任务排行榜上刷新最佳纪录。而GPT-2得益于其稳定、优异的性能在业界独领风骚。

　　而GPT-3的参数量足足是GPT-2的116倍，实现了对整个2019年的所有大型自然语言处理模型的降维打击。

　　算力杀手

　　GPT-3的论文长达72页，作者多达31人。来自OpenAI、约翰霍普金斯大学的DarioAmodei等研究人员证明了在GPT-3中，对于所有任务，模型无需进行任何梯度更新或微调，而仅通过与模型的文本交互指定任务和少量示例即可获得很好的效果。

　　GPT-3在许多NLP数据集上均具有出色的性能，包括翻译、问答和文本填空任务，这还包括一些需要即时推理或领域适应的任务，例如给一句话中的单词替换成同义词，或执行3位数的数学运算。

　　当然，GPT-3也可以生成新闻报道，普通人很难将其生成的新闻报道与人类写的区分开来。是不是细思极恐？

　　通常来说，自然语言处理任务的范围从生成新闻报道到语言翻译，再到回答标准化的测试问题。那么训练这个庞然大物需要消耗多少资源呢？

　　OpenAI方面表示：“我们在cuDNN加速的PyTorch深度学习框架上训练所有AI模型。每个模型的精确架构参数都是基于GPU的模型布局中的计算效率和负载平衡来选择的。所有模型都在微软提供的高带宽集群中的NVIDIAV100GPU上进行训练。”

　　根据微软早前公布的信息，我们发现微软给OpenAI提供的这台超级计算机是一个统一的系统，该系统拥有超过285000个CPU核心，10000个GPU和每秒400G的网络，是一台排名全球前5的超级计算机。

　　GPT-3就是在微软这霸道的“无限算力”加持下诞生的，据悉其训练成本约为1200万美元。

　　有什么用？

　　既然训练GPT-3需要如此苛刻的超级环境，民间的什么2080Ti、线程撕裂者等家用级设备自然都是弟弟，那么我们普通用户要怎么来用这个玩意儿呢？

　　目前，OpenAI开放了少量GPT-3的API测试资格，商业公司、研究学者和个人开发者都可以申请，获得资格的用户可以通过远程调用的方式体验GPT-3的强大。当然，这个资格并不容易拿到……

　　在国外，“拿到GPT-3测试资格”已经成为了一个“炫富”的新梗……

　　当然也有早期成功抢到测试资格的用户。因为GPT-3是一个史无前例的庞大语言模型，所以几乎所有可以用文字表达的工作它都能胜任，你可以指导它回答问题、写文章、写诗歌、甚至写代码。

　　首先来看最基本的语言表达功能，下面是网友用GPT-3开发的自动回复邮件工具，只需要输入几个简要的回复关键词，GPT-3就能自动生成一篇文笔流畅的回复邮件：

　　更深入一些，下面这位名叫yash的网友用GPT-3开发了一个Python驱动的财务报表，它可以将日常语言转换成Python代码来创建资产负载表：输入“我今天投入了两万美元”、“后三个月的房租预付了900美元”这样的自然语言，程序就能自动修改资产负债表上相应的项目数值。

　　网友FaraarNishtar调用GPT-3写了一个小工具，能直接输入自然文字生成他想要的SQL查询代码：

　　网友SharifShameem开发出了一个新产品Debuild。这是一个调用了GPT-3API的网页app快速生成器，在输入框里用自然语言进行描述，它就可以快速输出你想要的用户界面，比如输入“生成一个像西瓜一样的按钮”:

　　对于产品经理或前端设计师，只需要在设计软件Figma中加入GPT-3插件，就可以打字生成你想要的前端效果：

　　也有开发者给GPT-3做了图灵测试，结果发现它的回答很有意思：

　　“如果在十年前用同样的问题做测试，我会认为答题者一定是人。现在，我们不能再以为AI回答不了常识性的问题了。”

　　古人云，“熟读唐诗三百首，不会作诗也会吟。”从人类历史到软件代码，庞大的GPT-3模型囊括了互联网中很大一部分用文字记录下来的人类文明，这些记录造就了其强大的文字任务处理能力。

　　AI语言模型参数量级近年来呈指数倍发展，随着在摩尔定律下人类设备算力的提升，在未来的某一天，或许真的将会出现一个无限接近熟读人类历史所有文明记录的超级模型，届时是否会诞生出一个真正的人工智能呢？

　　最后引用神经网络之父、图灵奖获得者GeoffreyHinton早前对GPT-3的一番评论：

　　“鉴于GPT-3在未来的惊人前景，可以得出结论：生命、宇宙和万物的答案，就只是4.398万亿个参数而已。”

　　下载YPS行业门户系统APP，分享赚金币换豪礼

　　相关文章

　　关键词：AI，算力，OpenAI

　　你的《超级马里奥兄弟》通关了没？AI成功拿下29个关卡华为发布智慧交警解决方案：用AI、大数据技术精准治理马斯克称AI会超越人类，不相信的人都自作聪明寒武纪上市，能否撑起中国AI芯片的一片天英伟达与佛罗里达大学联手打造全球速度最快的高等教育AI超级计算机“刷手”即可乘公交，高科技“熊猫公交车”在上海测试

　　软媒旗下网站：

　　YPS行业门户系统

　　辣品-超值导购，优惠券

　　IT圈（Win10/WP8.1/Win7论坛）

　　最会买-返利返现优惠券

　　6655网址之家

　　Win10之家

　　Win8之家

　　Win7之家

　　Vista之家

　　软媒旗下软件：

　　魔方

　　旗鱼浏览器（极速内核）

　　云日历

　　酷点桌面

　　闪游浏览器（IE内核）

　　Win7优化大师

　　Win8优化大师

　　Win10优化大师

　　软媒手机APP应用

　　关于YPS行业门户系统

　　|关于软媒

　　|联系我们

　　|加入软媒

　　|WAP版

　　|网站地图

　　|Archiver

　　|刺客团队

　　YPS行业门户系统，软媒旗下科技门户网站-爱科技，爱这里。

　　Copyright©yuhou.cn,AllRightsReserved.

　　软媒公司版权所有