您现在的位置是:首页 > 科技 >

研究人员说聊天机器人和其他 AI 的实际表现如何

2022-07-05 15:26:17

一个由 400 多名研究人员组成的庞大团队最近发布了一项关于最近流行的基于文本的 AI 架构的性能的新开放访问研究,例如GPT、Pathways语言模型、(最近有争议的)LaMBDA 架构和稀疏专家模型。这项名为“超越模仿游戏”或 BIG 的研究试图为基于文本的人工智能的状态、它与人类在相同任务上的比较以及模型大小对能力的影响提供一个通用基准。执行任务。

首先,许多结果很有趣,但并不令人惊讶:

● 在所有类别中,最优秀的人类都超过了最优秀的人工智能(尽管在国际语言奥林匹克竞赛的翻译问题上这一优势最小)。

● 更大的模型通常显示出更好的结果。

● 对于某些任务,改进与模型大小呈线性关系。这些主要是基于知识的任务,其中明确的答案已经在训练数据的某个地方。

● 一些任务(“突破性”任务)甚至需要非常大的人工智能模型才能开始。这些主要是团队所谓的“复合”任务——必须结合两种不同的技能或遵循多个步骤才能获得正确的答案。

然而,一些结果更有趣。从本质上讲,研究人员发现所有模型尺寸都对提问的方式高度敏感。对于某些提问方式,随着模型大小的增大,答案会有所改善,但对于其他方式,无论模型大小如何,结果都不比随机好。

当展示国际象棋棋步时,这些模型毫无疑问地无法找到将死棋步,尽管即使是初学者也很容易发现这一棋步。然而,有趣的是,更大的模型更有可能提出合法的举措。

另一个有趣的能力是根据原子序数识别元素名称的上下文能力。最大的模型可以识别出大约一半的原子序数的正确元素。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

热点推荐

点击排行

  • · 尽管大肆宣传Rimac拒绝制造SUV

    尽管大肆宣传Rimac拒绝制造SUVRimac永远不会制造SUV。根据MateRimac的说法,就像从来没有一样。尽管制造SUV是充实银行账户的可靠方式,但这家EV超级跑车制造商甚至根本不

  • · 交易:B&H推出混合LG Watch G7...

    交易:B&H推出混合LG Watch G7 售价190美元 折扣53%或210美元去年十月,LG Watch W7亮相。该设备被认为是混合智能手表,因为它结合了机械手和数字功能。例如,时计在Wear OS上运行,包括气压计,秒

  • · 斯巴鲁制造了一款名为e-Boxer的混...

    斯巴鲁制造了一款名为e-Boxer的混合动力XV型轿车这是全新的斯巴鲁XVe-Boxer-本质上是一个自我充电混合版本的品牌的粗糙‘n’翻滚交叉-如果你继续阅读后,这一点,我们高度赞扬你的承诺,你知道,汽车。 这并不是说XVe-Boxer将是一款

  • · 新的宝马M8将有三种外形

    新的宝马M8将有三种外形在一个似乎无法获得足够高性能汽车的世界里,还有更多的消息可以让马力的瘾君子远离戒毒所一段时间。因为宝马老板强烈暗示M8将有三种口味:coupe,gran coupe(上面以概念形式预览)

  • · 使用无线电源 在驾驶时为电动汽车充电

    使用无线电源 在驾驶时为电动汽车充电虽然电动汽车的采用通常被认为是绿色交通的重要一步,但许多司机对购买一辆可能在旅行结束前失去动力的车辆持谨慎态度。为了消除这种范围焦虑,斯坦福大学的一个团队设计了一个系统,

  • · 2020年马自达CX-9回顾 当时尚战胜功能

    2020年马自达CX-9回顾 当时尚战胜功能这可能是最好看的三排交叉今天出售。尽管这款马自达CX-9已经上市多年,但它仍然是一款好品味的典范,外观和外观都很漂亮。 研究马自达CX-9|在你身边寻找马自达CX-9 但是,当购买一辆