看了这些老外的骚操作，我也觉得应该暂停GPT4

我知道，暂停大模型研究种事，基本是不可能了。但我还是觉得应该暂停。

尤其是当我看到Smallville小镇。

尽管在现实世界中，离情人节还有很长的时间，但在Smallville小镇上，正在准备举办一场盛大的情人节派对我写这篇稿子的时候，镇上的时间是2023年2月13日的上午。

派对的策划人是Wolfgang Schulz，今年21岁，是橡树山学院化学专业的学生，也是一名学生运动员。

整整一上午，她都在回复邮件和定制派对上要用到的装饰品，她也和其他人联系，确定时间和节目。

这场派对邀请了全镇居民参加，一共25个“人”，他们的年龄相差有些悬殊，Wolfgang算是很年轻的居民，另外还有年过半百的艺术家，四十出头的建筑设计师，以及最近要去佛罗里达旅行的程序员等等。

Smallville镇有一条环形公路，中间是镇图书馆，道路的另一侧是民房和学校，而几乎所有房子的窗户都能看见镇子唯一的公园明天，情人节派对就在那里举办。

这简直是既浪漫又充满生机，我俯瞰着整个镇子，看着Wolfgang为派对忙前忙后，画家铺好纸张，设计师绘制蓝图，主妇拧开炉灶的旋钮，老人走到后院开始修剪草坪……

如果这一切不是2D像素组成，如果Smallville小镇不是斯坦福大学一个“Generative Agents”（生成式智能体）实验，如果Wolfgang的和她的情人节派对不是智能交互的一部分，如果一切对话不是ChatGPT模型的生成……

我甚至认为这一切无限接近于真实的虚构，或许因为加持了AI的力量而显得有些可怕最新的技术显示，通过下载公有模型，使用云技术，你甚至不需要哪怕一块GPU就能在家训练一个属于自己的模型，为AI添加独一无二的灵魂。

这让我想到前一阵，马斯克和图灵奖获得者Yoshua Bengio，以及一众技术大牛联合呼吁暂停所有GPT4以上的模型研究6个月。

这或许并不仅仅出于一场商业角逐，而确实是对人类未来的担忧。

当AI有灵魂

Smallville没有黑夜不过斯坦福大学技术团队制造的25个AI小人也需要休息。

在这里，25个“人”被植入AI灵魂。

他们白天忙碌，各司其职。比如画家清点作品要去城里办一个画展；镇上药店的老板想办法让居民以更快的速度订到药剂；工程师为某个项目和建筑设计师讨论图纸；音乐家则热衷于演奏和与任何一个居民探讨音乐。

在Smallville，时间的流逝是现实世界的3倍，尽管如此之快，每个居民仍然拥有“出生”后的记忆，并根据记忆做出判断，比如履行一个星期前和某人的某个约定这一点上，AI从不会爽约。

这一系列令人惊叹模拟，源于一个乏味的技术名词Generative Agents，中文是“生成式智能体”，它解释起来比较拗口：利用生成模型来模拟可信人类行为的智能体，并证明它们能产生可信的个人和突发群体行为的模拟。

斯坦福的技术团队为“生成式智能体”给出的界定：

能够对自己、其他智能体和环境进行广泛的推断；能够根据自身特点创建日常计划并执行，并根据执行结果考虑是否重新部署计划；能够在终端用户改变环境或用自然语言命令它们时做出反应。

这其实就是制造了25个有灵魂的数字人，再让他们通过ChatGPT-3.5自然语言模型进行交互，由此实现了真正意义上的AutoGPTAI驱动AI。

但离现实越近，人们越感到后背发凉。

随着时间的推移，小镇上的AI凭借记忆和推断形成了新的关系，他们的互动开始带有明显目的有了是非之分，甚至开始喜欢或讨厌一个人。

例如，Sam 一开始并不认识Latoya，两人在公园散步时初次相识，在第一次对话中，Latoya 提到自己正在进行一个摄影项目，她告诉Sam：“我正在拍摄一组关于公园的照片。”

而几天之后两人再见面时，Sam 问道：Latoya，你的拍摄进展如何？Latoya 回答：进展得很好两人的关系更进一步。

而此时，Sam正是镇长的竞选人之一，他请求Latoya作为朋友投他一票，Latoya欣然同意然而从其他AI的对话中也可以看出，有人不喜欢Sam这种“交际花型”候选人，虽然Sam的支持率左右摇摆，但他仍旧积极地试图和每个人交流，扩大自己在镇子上的影响力。

需要注意的是，这一切都没有人类进行干预每一个AI都拥有自己的个性和对环境的判断，虽然这些生成偶尔也会犯错误，比如未能检索相关记忆，甚至凭空编造一段记忆，但瑕不掩瑜，在这个2D像素的世界里，AI已经不断演化出堪比真实世界的故事了。

然而令人生畏的技术不止如此。

暂停AI

最近一个月里，有人发现自己的ChatGPT账号失窃了。

网络防火墙研究机构Check Point在一份报告中提到，多数失窃的ChatGPT账号都流向了暗网。在那里，这些账号被当做商品售卖，并且可以用加密数字币结账，因此账号的最终去向没办法追踪。

另外在暗网，ChatGPT Plus帐户的终身升级费用仅为59.99美元，而OpenAI对此服务的官方定价为每月20美元这项地下服务还提供了与另一名黑客共享ChatGPT帐户的选项，价格为24.99美元，终身有效。

按理说，ChatGPT只是一个自然语言大模型，比如上面的提到的Smallville小镇，用到与ChatGPT相关的技术，也只是AI之间的自然语言交流。

为什么这一技术在地下交易中异常踊跃？

还是创造Smallville小镇的斯坦福大学，其计算机与心理学教授Michal Kosinski前不久在一篇论文中认为，心智理论可能自发地出现在大型语言模型中。

简单说，就是一些AI语言模型在训练中已经产生了意识。在那篇论文中，Kosinski认为，以GPT4为例的大语言模型，为了提高语言能力，演化出一种类似ToM的能力。

ToM全称Theory of Mind（心智理论），是一个心理学术语，这被认为是人类独有的能力，即通过观察对面人物的表情、肢体动作和环境变化，来推断对方的行动，并因此调整自己的决策。论文中，Kosinski通过一系列和ChatGPT的对话实验，来证实ToM之于AI的存在。

这就像是在Smallville小镇，Sam通过和Latoya成为朋友而得到一张选票，也可以将这个逻辑反过来说：Latoya因为Sam和她关系的改变，而为他投了一票这里划重点，Sam很明显的知道，通过交朋友，可能会得到更多的选票，他因此在公园散步时，和Latoya打了招呼。

是的，AI已经初步掌握了社会关系中的人情世故。

这就能解释为何在暗网上，有人会出售ChatGPT账号牟利，某种意义上，一个ChatGPT账号就是一个可以被开发的，拥有空白灵魂的模型你往里面装什么，它就变成什么。

当然，并不是人人都会冒险在暗网上购买ChatGPT的账号用于训练模型，毕竟还需要耗费大量资金用来购买GPU，不过，另外的技术可以帮助普通人不用GPU也能训练属于自己性格的模型。

比如利用一种名为Vicuna的模型，它被嵌在浏览器中，训练者只需要键入命令，相关的模型包就会下载到本地，测试者对模型进行了多语言、写诗、写小说等试验，发现Vicuna足以在个人电脑上利用CPU训练出一个初级的Smallville小镇。

另一边，在今年1月举行的美国电子消费展上，三星发布了NEON迄今为止最真实的数字人你甚至用真人来形容都不为过。但NEON在发布之初并未收到太多关注，直到ChatGPT为AI注入灵魂有人说，NEON+ChatGPT，终究打开了人类社会赛博朋克的大门。

还有几个小时，在那个虚拟的Smallville小镇上，虚拟的情人节派对就将由虚拟的AI举办你当然可以随时关掉网页忘掉这一切，但AI的研究并未因此而停止。

倡导暂停研究AI的大佬马斯克已经转身成立了新的大模型公司。说实话，这背后颇有一种“既然无人问津，不如破罐破摔”的做法技术当然无罪，但技术能创造出什么东西来，谁都说不好。