我想和大家说一件最近让我忧虑的事，是关于AI幻觉强度的。

很多人说过，ChatGPT经常会有理有据地胡扯，特别当它回应一些严肃的知识性问题时，会凭空编造事实，甚至杜撰不存在的文献。

例如，我让ChatGPT给我介绍一下青铜利簋，它开始一本正经地胡扯，说这件青铜器是商王帝乙为了祭祀自己父亲帝丁所铸，还详述了其内壁的铭文，说是商王希望得到祖先灵魂的庇佑什么的，然而，这根本就是胡扯，利簋这件文物我在博物馆亲眼见过，此物为西周贵族为了纪念武王推翻商朝而铸，其铭文也和什么祭祀商王毫无关系。

我问AI这些都是哪看来的，它咔咔给我列了一大堆文献，什么《殷墟发掘报告》、《商代青铜器铭文研究》之类的，看着是那么回事，其实又在胡扯，前一篇文献的作者是中国社会科学院考古研究所，AI说是中山大学考古学系，后一篇文献的作者是严志斌，AI说是李学勤，当然，这样的严肃文献里也根本不会有AI捏造的内容，AI只是搞出了一个引用的假象。

当话题进行到这时，这就是一个关于AI幻觉的老生常谈，网上讨论过很多次了，然而，我昨天看了一个视频，是关于字节新发布的OmniHuman数字人技术，这个技术可以将一副静态人物照片转化为视频，效果惊人，比如，系统以一张静态照片为素材，生成了一段演讲视频，不仅神态、语气、口型、肢体动作都极其自然，就连头发和首饰的晃动都符合物理规律，若是用街边拍摄的人物照片为素材，就连拍摄对象身后镜头虚焦位置的路人和行驶车辆都能虚构出来，看不出任何破绽。

假如，这类技术未来普及以后，有个团伙，为了贩卖自己伪造的文物，用知名专家的照片伪造一段讲座视频，令其讲述团伙虚构的历史，然后扩散到短视频平台上，接下来，再用AI虚构的历史生成大量的虚假文献乃至照片和视频投放到网上搞信息污染，发酵一段时间，会发生什么？

就是有一天，当你在看短视频时，突然刷到一个你熟知的专家在搞讲座，说了一段历史你之前没听过，你奇怪，到网上一查，发现文献还挺多，到处都有，作为证据的照片和视频都能搜出一大堆，还有官媒采访现场的录屏，若是到了这种程度，除非直觉敏感的专家，或者相关研究的亲历者，绝大多数人都会被带坑里，不知不觉间就在脑中植入了这段虚构历史的记忆，等未来的某一天，这个团伙把自己伪造的文物拿出来招摇过市时，你会心想：“嗯，这东西靠谱，之前看专家提到过，官媒还报道了呢” 其实，那一切打根上起就都是AI编的，根本不存在。

发现了吗？AI能虚构从文本到照片乃至视频的一切内容，并且令其彼此印证互相支撑，可谓天罗地网环环相扣，其制造的幻觉在强度上和之前编点文字故事时不可同日而语，除非你亲自见到专家本人求证，或者到现场实地考察，否则你会被AI创造出的假象玩得死死的。

但现实中，有渠道，有机会，有能力，有意愿亲自验证事实的人有多少呢？就算前面说的这四点你都有，你能每件事都验证吗？稍微一个不留神，被AI污染的记忆就不知不觉钻进脑子里了。

我昨天做了一个梦，梦见世界各国政府共同召开一场新闻发布会，宣布联手成立了一个现实真相审查机构，把AI制造出的网络幻象都清理干净了，以后大家再也不用担心被AI虚构的内容蒙蔽，可以放心了，我本来长舒一口气，然而，我走访发现，并没有什么现实真相审查机构，那个新闻发布会是AI虚构出来的。

醒来以后，身上一层冷汗。

微博上那个河森堡的，仿佛一部发生在真实世界的科幻小说，确实一身冷汗
另外，我确实试图尝试给ai喂我讨厌的人的黑料和黑评，不过太懒没做下去，但我相信，应该已经有人民币玩家在进行甚至已经成功

这个确实吓人！竟然会胡编乱造？

可怕，你的梦更可怕，这个只能靠国家出手了

看了，我也觉得可怕，我原以为这些Ai能帮助和简便我的问题，现在我还得会分析它给我的答案是不是正确的

以前的科幻电影，就是ai控制了国家政府，控制了所有媒体信息渠道，人类完球。。

没有限制的AI早就污染了人类的数据库，不过我想可以用AI反向验证查伪，关键看怎么用

感觉现在网络上的信息已经不可信了，目前我还能用原有的知识来分辨一下真伪，过几年估计连真伪都无法分辨了！

AI给的答案就是可能是错了，我问了不同的AI一个问题，给出的答案完全不同。AI也只能根据已有的资源进行总结，而资源就有可能是错了，无法避免

我早就说了，无节制的滥用AI最后受害的是所有人。你以为的AI，帮你干活然后你自己喝茶看报爽歪歪，实际的AI，用在电脑上统计你每分钟鼠标键盘敲击频率和点击位置，然后根据所有人的数据制定一个堪比血泪工厂的kpi指标，上面监控看着，中间电脑AI监视着，外面上厕所刷卡计时着，全方位的对打工人进行饱和式压榨，你想休息10分钟，做梦！你以为我在说未来发展趋势吗，不，我说的是现在此时此刻此秒正在发生的现实！

假作真时真亦假。想象下ai把数字历史博物馆资料改了，谁还能一个个去扒原始报纸杂志文物去鉴别啊

这东西其实本身要不怎么会叫机遇呢？就是新生事物会带来挑战，需要制定新规则，在这过程中自然有漏洞和打补丁。但是我觉得你没必要担忧。首先你说的东西ai在里面的作用都是工具，有没有ai你说的事情不是因为ai才诞生，而是因为一直都验真问题。没有ai就没有欺骗吗？我记得咱们应该都学过一篇文章，那个英国电视台还是美国电视台搞了个火星人侵略地球的节目，导致城市居民恐慌纷纷逃离。这里ai和电视台无线广播技术作为在传播谎言中的工具作用有区别吗？我觉得没区别。生成新视频这个技术上讲你说的这个伪造名人视频这个，难道现在满天的那个啥啥事都出个罗翔说的小图片，或者名人话语小图片和小视频都是名人说的吗？用的着ai视频生成技术吗？而且国外如果还有可能实现的政治基础的话，在我们国内基本为无。我们政治基础和人口数就导致了高层会怕的要死你说的这个场景还只针对普通人用于生活场景，那就可用于政治经济等各个领域。如果有人用这个进行煽动颠覆，哪个政府不怕？除非是个二百五，合格的政府都只会发布阉割版的应用技术。ai技术应用中有很多担忧的政治伦理法律漏洞点，比如我前阵子刷到一个视频关于一个人喝酒后，他开车回去，但是他使用了车子的无人驾驶技术开回去的，他的车无人驾驶设定是他无驾照的朋友给设定的，这个过程中交警无法通过现有法律进行判定他是否酒驾。视频里关于法规法条我没查，但是基于视频里的逻辑确实可以一个逃出现有法条的酒驾认定，值得商讨。但是你说的几个事，我觉得值得担忧的是怎么反制ai工具可能形成的新型诈骗，但是本质讲没有ai，你说的这几个事现在也有比较成熟的诈骗手段，但是被骗和反诈骗的手段核心其实不会有什么大变化的。

再说你说的东西其实可以说就是大家都能看到的机遇。现在总说ai可能对普通人就业的威胁，但是就是因为ai作为工具无法辨真伪，那怎么辩真伪不还是得靠人，利用本领域专业性对大量数据进行筛查辨伪，必然会产生大量的岗位。最近还刷到一个近年各行业就业人数变化，其中it服务行业人数逐年递增，以后这种ai行业诞生的服务从业人员也必不可少。

西方历史造假都多少年了，老美的工具不过是秉承了他们一贯的做法而已。

同一个问题，我问了豆包和ds，答案不一样

问过ds一个中医的问题，回答是错的

贾宝玉：除四书外，杜撰的太多，凭甚我就不可以杜撰《古今人物通考》

对了，想一想还是要跟楼主说，你真的没必要这么悲观。如果deepseep开源后验证对低端芯片部署成熟性，快的话一年，大概两到三年比较成熟，五年左右会应用比较广泛，很多高端智能家用产品，小到智能照明灯，电视洗衣冰箱，大到电动车的智能控制会成为各种在各产业内进行更新升级，其实这点更能不知不觉的改变我们生活。