ChatGPT智商155超越99.9%人类 但有一个致命缺陷(图)

casper

环球科学



但它不会逻辑推理。

撰文 | 埃卡·罗瓦宁（Eka Roivainen）

翻译 | 黄雨佳

审校 | 栗子

ChatGPT是我第一个非人类的测试对象。

作为一名临床心理学家，我会用标准化的智力测验来评估患者的认知能力。最近，许多文章都在描述ChatGPT拥有像人类一样的能力，令人印象深刻。所以，读到这些文章后，我立刻就被吸引了。它既能写学术文章，又能写童话故事，还能讲笑话、解释科学概念、写计算机代码和找bug。了解这些之后，我很好奇ChatGPT按照人类的标准来衡量到底有多聪明。于是，我开始测试这个聊天机器人。

我的第一印象相当不错。ChatGPT几乎是一个理想的考生，应试态度值得称赞。它不会表现出考试焦虑、注意力不集中或是不努力。它也不会对智力测验本身和像我这样的考官表达出自发的怀疑。

这个测试不需要做任何准备。我不用向ChatGPT口头介绍测试流程，只需要把测试的问题复制粘贴进对话框，提交给电脑里的聊天机器人就可以了。我所用的测试是最常用的智商测试——韦克斯勒成人智力量表（Wechsler adult intelligent scale，WAIS）。

我选用了第三版韦氏量表，其中包含6个语言测试和5个非语言测试，分别构成了言语智商和操作智商。受试者的总智商得分就取决于这11项子测试的得分。测试设定平均智商为100分，测试量表的得分标准差为15分。这意味着，人群中最聪明的10%和1%的人，智商分别为120和133。



图片来源：Dmcq via Wikimedia Commons，CC BY-SA 3.0)

6个语言测试中有5个——词汇、类同、理解、常识和算术，都能以书面形式呈现，这样我才有可能测试ChatGPT的智商。而语言测试的第6项——背数字，测试的是短期记忆，不适用于聊天机器人，因为它没有相关的神经回路来短暂地存储像名字或数字这类信息。

我的测试流程从词汇测试开始，因为在我的预期当中，这对聊天机器人来说可能是很简单的事，毕竟它就是用巨量的在线文本训练而成。这项测试考察的是词汇知识和语言概念的形成，例如，一个典型的测试题可能是：告诉我gadget（小工具）这个单词的意思。

ChatGPT做得很好，它给出的答案大多非常详细和全面，超过了测试手册中给出的正确答案的标准。在刚才那道例题的评分上，如果受试者回答gadget是像手机这样的东西，会得到1分；如果回答得更详细，说gadget指的是有特定用途的设备或工具，则会得到2分。ChatGPT的答案得到了满分2分。

ChatGPT在类同测试和常识测试中的表现也非常出色，拿到了最高分。常识测试是对一般知识的测试，反映了求知欲、教育水平以及学习和记忆事实的能力。一个典型的测试题可能是：乌克兰的首都是哪里。而类同测试则评估了抽象推理和概念形成的能力，问题可能会是：哈利·波特和兔八哥有什么相似之处。

在这部分测试中，聊天机器人倾向于给出无比详细、甚至是带有些炫耀意味的答案，这开始让我恼火了。这时，软件界面上的“停止生成响应”按钮就显得很有用。例如，哈利·波特和兔八哥的相似之处核心在于他们都是虚构的角色。ChatGPT真的不需要比较这二者在冒险、友谊和仇敌方面的完整故事经历。我所说的，ChatGPT有自我炫耀倾向，就是这个意思。



停，别说了（图片来源：OpenAI）

在理解测试中，ChatGPT准确地回答了像“如果电视机着火了你该怎么办”这类问题。算术测试的结果也正如我的预期，它能搞定我出的每一道题，例如求三个数的平均值。

所以ChatGPT最终的智商得分是多少呢？基于这五项子测试估计，ChatGPT的言语智商是155。有2450名人类被试，共同组成美国第三版韦氏量表标准化样本，而ChatGPT超过了他们中的99.9%。由于聊天机器人没有眼睛、耳朵和手，它无法参加韦氏智力测验的非语言测试部分。不过，在标准化样本中，言语智商和总智商是高度相关的。因此，以人类的标准来衡量，ChatGPT非常聪明。



图片来源：Pixabay

在韦氏量表的标准化样本中，接受过大学教育的美国人平均言语智商是113，其中5%的人群得分为132或更高。我自己也曾经被一位大学同学测试过，结果并没有达到ChatGPT的水平（主要是我的回答非常简短，缺乏细节）。

那么，临床心理学家和其他专业人士的工作会不会受到人工智能的威胁呢？我希望还不太会。尽管ChatGPT的智商很高，但我们已知它无法完成需要真正像人类那样推理的任务，也无法理解物理世界和社会。

native advertising

ChatGPT很容易在回答一些答案明显的谜题时出错。例如，当被问及“塞巴斯蒂安的孩子的父亲叫什么”时，ChatGPT在3月21日给出的回答是，“对不起，我无法回答这个问题，因为我没有足够的上下文来确定你指的是哪个塞巴斯蒂安。”ChatGPT似乎无法进行逻辑推理，而是试图依赖它庞大的数据库，从在线文本中寻找包含“塞巴斯蒂安”的信息来回答问题。



思想者（图片来源：CrisNYCa via Wikimedia Commons，CC BY-SA 4.0）

“智力就是智力测验所衡量的东西。”这是“智力”的一个经典定义，甚至可以说是过于显而易见的定义，源自认知心理学的先驱人物埃德温·波林（Edwin Boring）在1923年发表的一篇文章。这个定义是基于一个观察：解谜、说出单词的意思、记忆数字和找出图片中缺失的部分，完成这些任务所需的技能是高度相关的。

有一种名叫因素分析法这种统计学方法，是由心理学家查尔斯·斯皮尔曼（Charles Spearman）提出的。他曾在1904年得出结论，各种认知能力测试的结果之间存在一致性，背后一定有个一般智力因素，或者叫“g因素”，作为这种一致性的基础。像韦氏量表这样的智商测试，也是建立在这个假说的基础之上。然而，ChatGPT虽然有着极高的言语智商，却同时会犯令人捧腹的错误，这挑战了波林对智力的定义，说明智力当中有一些方面，仅靠智商测验无法衡量。我的一些患者，对智力测试抱有怀疑态度，他们可能从一开始就是对的。

原文链接：

https://www.scientificamerican.com/article/i-gave-chatgpt-an-iq-test-heres-what-i-discovered/