您的位置:制图网首页 -> 专栏文章 -> ChatGPT:神话或异类?

热门排行

ChatGPT:神话或异类?

2023/2/8 来自于:制图网 点击:214

通过了谷歌L3工程师入职测试,年薪18.3万美元;

月活在短短两个月里从初期的100万破亿,碾压史上所有消费者应用程序;

今年1月,全球每天有1300万独立用户访问;

学生用ChatGPT拿下全班最高分;

微软将向ChatGPT的创建者OpenAI投资100亿美元;

谷歌、Meta等科技巨头纷纷在同一领域布局;

多家上市公司计划开展由ChatGPT引爆的AIGC(AI Generated Content,利用人工智能技术生成内容)概念相关布局;

一些公众号博主开始公开招募AI内容生成师……

前些日子,一系列新闻使人工智能实验室OpenAI在去年11月30日发布的自研聊天机器人ChatGPT迅速成为互联网和朋友圈的焦点。它比其他任何可与人互动的聊天机器人都先进,与之“交谈”让人着迷,在不久前美国《时代》杂志与ChatGPT的对话中,该聊天机器人就其工作原理、相关新技术的传播可能带来的风险以及人类应该如何应对潜在问题给出了回答,并表态称,它的反应不应被视为准确事实,也不应被视为其大脑会思考的证据。一些观察人士认为,ChatGPT和它的同类人工智能程序在21世纪20年代对社会的颠覆性影响将与社交媒体平台在21世纪10年代的颠覆性一样,由此,理解其功能和局限性至关重要。

Chat指“聊天”,GPT(Generative Pre-training Transformer)译成中文即“预训练生成模型”,有玩家在对ChatGPT进行数日体验后,将其应用概括为“聊天机器人”+“搜索工具”+“文本创造工具”3个方面,对此,有业内人士指出,ChatGPT本质上是一个高级的语言模型,说它是聊天机器人肯定没问题,因为语言模型原本就应用于人机交互;在与人沟通的过程中,ChatGPT会表达一些新的东西,这使内容文本创作也成为它的一项功能;但目前来看,它还不是一个非常严谨的搜索工具,因为ChatGPT背后其实不存在外部知识,它没有可调用的内容页面,所有的数据都储存在它的“大脑”里,它的语料完全是来自现成的客观语料,但因为那些语料本身可能就是错误的,所以ChatGPT在与人的互动中经常会出错,常常是“看上去一本正经地在说一些谁都听不懂的奇奇怪怪的话”。比如当你问它“1+1是不是等于2”,它肯定会给出一个答案,但不像传统的搜索引擎那样一定可以保证返回的答案页面上,都是“1+1=2”这个正确答案,它的答案取决于它的语料库,而且这个数据库并不必然与时俱进,如果后期没有经过特定的设置,由于原始语料的客观性本身所造成的错误答案会延续。

正如ChatGPT自己所说:“我们无法理解生成的单词的上下文语境或含义。我们只能根据给定的训练数据,根据特定单词或单词序列一起出现的概率生成文本。……作为一个大型语言模型,我无法像人类那样学习。我没有能力储存新的信息或经验,并利用它们来改变我未来的反应。相反,当我说我在不断地学习和提高时,我指的是OpenAI的工作人员在不断地通过新数据训练我,微调算法来提高我的性能。随着时间的推移,这可以让我产生更准确和相关度更高的反应。我无法从你使用的特定单词和短语中学习。我只能根据我所接受的训练和我所得到的算法来做出反应。我的回答不受我们实时对话的影响。”——它并不像人们所感觉的那样真的具有思考、推理或阅读理解的能力,不过,当它用现成的素材进行组合,虽然有可能组合出一个不知所云的东西,但也有可能正好组合成了一个“好像是什么”的东西,这样人们就会惊讶它的本领很高,而这其实在一定程度上也是偶然。它来自于大量的数据、强大的计算能力和新颖的处理技术的结合,所以是那种至少让大家看上去觉得合理的存在。如果各种参数正好凑成了一个好像很好的结果,这个“凑”的过程专业人士称之为“泛化性”。何谓“泛化性”呢?一位自然语言处理专家告诉记者,比如说在训练集里只有青苹果和红苹果,指令告诉ChatGPT这是苹果,然后到了真实场景中,有一个黄苹果,由于苹果的核心特征之前ChatGPT已经掌握,对新看到的黄苹果,它也能够将其识别为“苹果”。这样一种能力就称为“泛化性”,这是ChatGPT所具备的一种能力。

但即使如此,ChatGPT仍然不能像人一样根据语料形成进化性的观念,它只是在复述他训练集里既有的内容,没法跳出它之前的训练视野凭空给出新的东西。这并不排除对有些通用方向的常见问题,它会回答得很好、很流畅——因为它之前看过很多这方面的语料,只要“背”出来就行。所以有人曾经调侃:这就好比一只鹦鹉,经常听别人说“恭喜发财”,那么它也会说“恭喜发财”,但是你让鹦鹉去做迎宾小姐,那肯定是不行的。作为一个没有“知识的消化道”的工具,ChatGPT的主要用途并不是搞研究,所以它到底能把论文写得多么令人惊艳也值得打个问号。

在这位专家看来,ChatGPT并不是一种在技术上具有颠覆性的模型,它用到的将近95%的技术其实是现成的。和之前的opt及这个系列不同架构的工作不一样的地方在于,ChatGPT换了一种思路——之前的模型大家都侧重在做一些研究性的任务,比如分类,没有对聊天这方面做特别多的优化,ChatGPT则用聊天的形式与人交互,并标记了大量模型和人交互的数据,然后用这些数据在去提升它自身的能力,所以它在聊天这方面的功能显得特别强大。但是在一些研究性的任务上,它不一定比其他模型好,而且它自己也承认牺牲了一部分在研究领域的效果,来达到和人交互的目标。这有点像我们买了个新家电,它看起来功能很齐全,但实际上它是通过损失掉其他一些功能的强度来实现这种“齐全”的,可能有部分功能它就不如那些功能简单的同类那样好了。就技术支撑而言,目前看来,使用ChatGPT所需要的算力还没有到达硬件摩尔定律的瓶颈。

“早期的传统的非Chat系列的语言模型,大部分都是在对话数据上去做训练,ChatGPT采用的是另一种方法,就是把语言模型上所有的文本拿过来,然后再在一些对话基础上做一些任务(即要做的事、要实现的目标)的微调,所以它有很强的表达能力,效果也会比较惊艳一些。这个领域其实已经发展了较长时间,最近几年发展得很快,ChatGPT正好走到了业内发现如果把模型变大、把数据变大,效果就会很好,语言模型就会很流畅的阶段,正好踩到了合适的时间点上,让公众感受到了它的能力,让大家觉得它不再是一个什么都搞不定的产品。大家对ChatGPT的理解参照系可能还停留在早期非常傻瓜的Siri的时代,经过这些年的发展,公众可能觉得它比想象中的要好很多,于是就现象级地传播了。”这位专家认为。

微软虽然之前有聊天工具小冰,但近期还是向ChatGPT的创建者OpenAI投入巨资,业内人士表示,这就好比有一个现成的菜谱,已经写好了烧菜的人第一步应该干什么、第二步应该干什么、第三步应该干什么,但每个人照着做,做出来的菜还是不一样的。菜谱里会有一些小的地方需要每个人自己进行优化,比如如何去构建它的训练数据、如何设计指令、请了多少人做标识,以及如何让人去标识模型的好坏……这些优化不是技术上决定性的东西,未必能写到体现行业技术进步的论文里,但会导致ChatGPT和其他基本采用同类技术的模型不一样。现在相当于ChatGPT开发出了新的“菜谱”,微软看中了其所体现的研发能力、“菜谱”背后的那些东西,去投资它,也是给自己开发另一项财富。

输入激活码

只需简单一步,使用微信扫码(或长按识别二维码)并在任一小程序首页根据提示获取激活码! chatGPT中文网页版,无需注册,快来体验全网最火爆的人工智能应用!
刻字印章刻章子定刻光敏盖章印订制(淘宝商家)

输入激活码

只需简单一步,使用微信扫码(或长按识别二维码)并在任一小程序首页根据提示获取激活码! chatGPT中文网页版,无需注册,快来体验全网最火爆的人工智能应用!
刻字印章刻章子定刻光敏盖章印订制(淘宝商家)
请使用手机淘宝进行扫码