当机器开始思考，人类如何与之相处？当算法参与决策，安全如何保障？
10月30日举行的2026世界顶尖科学家论坛人工智能平行论坛上，图灵奖得主、数学家、中国科学院院士、芯片工程师等齐聚一堂，直面同一个问题：当AI正以前所未有的速度重塑世界，它的下一步究竟该怎么走？又将走向何方？
“顶尖头脑”们给出的答案各不相同，但共识十分清晰：未来AI能走多远，不取决于机器有多聪明，而取决于我们有多清醒。
马丁·赫尔曼。文汇报记者袁婧摄。
AI正把风险复制到更多领域
2015年图灵奖得主、斯坦福大学电气工程系荣休教授马丁·赫尔曼，一开场就抛出了一个尖锐判断：“人工智能、核武器、气候变化，都不是真正的问题——它们只是更深层问题的症状。”
在他看来，人类文明的核心矛盾从未改变：技术赋予了我们近乎“神级”的力量，但我们的行为模式还停留在“青少年阶段”。而AI正在把“失控风险”复制到更多领域——他援引媒体公开报道：AI可轻易教人策划暴力袭击、改造危险病原体；完全由AI引导的无人机已造成真实伤亡。
这位深耕密码学与全球安全领域半个世纪的学者并非末日论者。他说，自己与妻子一度濒临离婚，如今却已20多年没有争吵。“我们把分歧变成了协作的契机。”他在书中把亲密关系的修复逻辑类比到全球安全：你不可能一夜之间修复一段破碎的婚姻，也不可能一步跨入理想的和平世界，但我们总要为了那个目标努力。
他强调，改变得从社会内部发生——前提是，我们先把自己看作“人类”，而不是各自的国籍、族群与立场。“现在我们仍有能力作出改变，在技术时代存续下去。”
圆桌论坛。
每个大模型都应自带伦理审查
人类究竟应该做些什么，才能安全有效地利用AI？
2024年沃尔夫数学奖得主、普林斯顿大学教授诺加·阿隆点出了AI的“黑盒困境”：“我们不知道大语言模型内部究竟在发生什么。目前能做的只是调整神经网络的权重，却没有人真正理解它为什么会作出最终决策。”正因如此，他认为AI安全不能靠单一主体解决，国家与企业必须放弃恶性竞争、达成协作，否则“竞速本身就会催生危险”。
中国科学院计算技术研究所副所长、处理器芯片全国重点实验室主任陈云霁分析，主流大语言模型的底层逻辑是统计学，从海量数据中提取规律，预测下一个词元。“基于统计原理，准确率永远是99%，不会到100%。而这1%的不确定性，就足以造成损害。”在他看来，下一代AI需要把物理规律、逻辑规则嵌入模型，才能在关键场景实现“零失误”。
陈云霁认为，未来十年，AI极有可能实现“自我改进”：AI模型优化AI模型，AI芯片改进AI芯片。当然，伦理规则必须同步内嵌到技术中去。“每个大模型都应自带伦理审查机制，这应当成为全球共识。”
那么，人类会被AI替代吗？2023年世界顶尖科学家奖得主、香港中文大学（深圳）教授、尤里·涅斯捷罗夫用拼图比喻：AI可以高效拼好一幅百万片拼图，前提是所有碎片都已存在。如果缺了一片，它就什么也拼不出来；而人，可以靠想象力补上缺失的那一片。他坦言，很难想象AI能有人的想象力。
白皮书发布。
技术终极路线要由人来绘制
“技术本身是不可知的，它的最终路线还是要由人来绘制。”论坛上，多位专家提到，治理不能只在代码里找答案，而要回到人的维度。不论是技术研发的底层规则、人才培养的能力塑造，还是产业落地的边界共识，都要把人的判断、人的价值、人的权利放回中心位置。
中国科学院院士、华东师范大学终身教授何积丰在2017年就提出了可信AI的概念：AI不能是无法捉摸的黑盒，必须做到可解释、可验证、可追溯，并将机器行为与人类价值对齐。“AI产出的所有内容，其质量与局限，最终都取决于人的理解深度。”
教育体系的重塑，也是AI治理的重要一环。涅斯捷罗夫直言：“当你给用AI作答的学生试卷评分，你评估的其实是他们为AI付钱的能力，和知识水平毫无关系。”阿隆说，普林斯顿过去允许带回家的考试，如今“已完全不可能”，今年起每门课都恢复了课堂测验。华东师范大学软件工程学院特聘教授刘少英坚持让学生写论文时，先自己用英文写作，再请AI润色、对照学习；对执意依赖AI的学生，会被请到办公室逐句朗读论文，解释每一处措辞的理由。
（文章来源：上观新闻）
