超越注意力架构：RockAI 通往通用人工智能的另一条路

在一个痴迷于越来越大的云端模型的世界里，一家上海创业公司押注于更小、更聪明的人工智能，它能像人脑一样学习和记忆

在 2025 年上海世界人工智能大会熙熙攘攘的人群中，数千名参观者惊叹于最新的云端人工智能演示，而在一个大多数游客可能忽略的不起眼展位上，正发生着非同寻常的事。一只机器狗，完全离线、与互联网断开连接，正在实时向一位中年参观者学习新技巧。

这位男士教了它一个简单的序列：转个圈，然后坐起来，做出经典的「小狗作揖」姿势。两分钟内，机器狗就完美复现了整个动作——没有任何预编程指令、遥控或互联网连接。不远处，机械手正以惊人的技巧玩电子游戏，在类似俄罗斯方块的拼图和挖矿游戏中展现出战略性的精准操作，全部由本地人工智能模型驱动。

展位代表告诉参观者，这代表着「设备原生智能：能够离线运行、多模态处理，并在使用中学习。」

这不仅仅是又一个科技演示。它是对人工智能根本不同愿景的一瞥——一个挑战我们对人工智能开发、部署以及通往通用智能路径的基本假设的愿景。

断连世界中的连接智能

尽管多年来关于人工智能驱动设备的承诺不绝于耳，我们却生活在一个技术悖论中。公司们热情推销「人工智能手机」「智能眼镜」「智能玩具」，但几乎所有有意义的人工智能交互仍然需要稳定的互联网连接。最复杂的人工智能体验依然被拴在云端，网络故障时让用户沮丧，网络畅通时让用户担忧隐私。

「人人都在谈论离线智能和设备端人工智能，」RockAI 的联合创始人邹佳思在近期接受极客公园采访时解释道，「但理想与现实之间横亘着两座几乎不可逾越的大山：算力和能耗。」

这种脱节不仅仅是工程挑战——它代表了当前人工智能架构与边缘设备物理现实之间的根本错配。数据中心享有几乎无限的计算资源，而移动设备面临严酷的约束：有限的处理能力、紧张的能源预算，以及热量散发的无情物理定律。

数据是清醒的：大多数智能手机在本地运行大模型仅几分钟后就开始过热。智能眼镜和玩具依赖为基本连接设计的芯片，而非复杂推理。即使是高端设备也在与基于注意力机制模型的计算需求苦苦挣扎，让绝大多数现有硬件无法实质性地参与人工智能革命。

注意力机制的陷阱

要理解 RockAI 的激进方法，我们首先必须审视为什么基于注意力机制的架构——尽管在云端环境中取得了巨大成功——却为边缘部署创造了根本问题。

注意力机制的革命性创新在于它允许模型同时考虑输入所有部分之间的关系。想象一个传统的人工智能模型像工厂工人按顺序处理信息，对之前的步骤只有有限记忆。而基于注意力机制的模型则像一位指挥大师，能同时看到整个管弦乐队，实时理解每个乐手如何与其他乐手关联。

这种「全局握手」方式——每个词元必须与每个其他词元交互——创造了非凡的理解能力。但它也创造了随输入长度呈指数级增长的计算负担。每增加一个词不只是增加处理负载，而是急剧成倍增加。

「基于注意力机制的模型从根本上是为拥有无限计算资源的云端环境设计的，」RockAI 首席技术官杨华在接受量子位采访时解释道，「当你试图把这种架构强塞进边缘设备时，就像让一辆一级方程式赛车去走盘山公路——基本的设计假设完全崩塌了。」

移动处理器更像高效的流水线，擅长顺序高速处理。当你要求它们执行注意力机制所需的并行、关系密集型计算时，它们很快就被压垮了。结果就是今天我们看到的情况：人工智能设备过热、迅速耗尽电池，或者根本跑不了复杂模型。

另一条路

正如 RockAI 首席执行官刘凡平在 2025 年世界人工智能大会期间公开表示的：「当前人工智能发展需要克服两座大山：一个是反向传播，另一个是基于注意力机制的架构。」

RockAI 没有试图优化注意力机制模型以适应边缘部署——这是几乎每家公司采取的方法——而是在 2022 年初，甚至在 ChatGPT 点燃当前人工智能革命之前就做出了更激进的选择：他们要重建引擎。

「我们不是试图改装一辆赛车去跑山路，」邹佳思在极客公园采访中解释道，「我们正在设计一辆全新的越野车，能自然地穿越那些山脉。」

Yan 架构完全抛弃了注意力机制，代之以 RockAI 所称的「特征抑制-激活」系统结合分区激活。不同于要求所有参数对每个查询都激活，Yan 模型只激活与每个任务相关的特定神经「区域」——很像人脑在处理简单请求时并不会全部点亮。

这种受生物启发的方法带来了显著效率提升：相比同等规模的注意力机制模型，训练速度提升 7 倍，推理吞吐提升 5 倍，内存容量提升 3 倍，功耗显著降低。但真正的突破不只是效率——它是一种当前人工智能系统完全缺乏的全新能力。

在边缘设备上记忆和学习

也许 Yan 2.0 最革命性的功能听起来平淡无奇，却代表了根本的范式转变：边缘设备上的真正记忆和自主学习。

当前的人工智能模型，即使部署在本地，本质上也是只读系统。一旦训练完成并部署，它们就无法修改核心神经网络来学习新信息。任何「个性化」都通过外部提示词、上下文窗口或检索系统实现——模型本身保持静态，就像一本只能读不能更新的图书馆藏书。

Yan 2.0 通过 RockAI 所称的「训练-推理同步」改变了这一点——在被积极使用的同时学习和更新的能力。不同于注意力机制模型需要大规模图形处理器集群才能进行任何学习更新，Yan 的分区激活架构通过低功耗反向传播实现本地化学习。

技术实现涉及两个关键阶段：

记忆更新阶段：模型确定哪些旧知识可以被遗忘，然后从当前任务中提取有价值的信息并直接写入记忆模块。这个过程不依赖外部缓存或数据库，而是使用专门的神经网络来模拟记忆行为，实现动态擦除和增量写入。

记忆检索阶段：Yan 2.0 实现了记忆稀疏机制，从多个记忆槽中选择最相关的激活记忆，与长期共享记忆融合以生成新输出。这让模型不仅能记住，还能「用记忆进行推理」。

「模型可以一边使用（推理）一边学习（训练），」邹佳思在极客公园采访中描述道，「直接把新学到的偏好写入模型自身的神经网络。」

这在边缘人工智能中创造了前所未有的东西：随用户一起成长和进化的模型，无需连接互联网就能越来越个性化。那只学习新技巧的机器狗不是在遵循预编程的例行程序——它是在基于人类示范真正地更新自己的神经通路。

压缩 vs. 成长

RockAI 的愿景以根本方式挑战了当前的人工智能开发范式。大多数大语言模型遵循该公司所称的「压缩智能」——像巨大的海绵，在训练期间吸收海量的互联网数据，然后作为压缩知识的静态仓库提供服务。

这种方法应用于资源受限的边缘设备时面临明显的局限。文本比图像或视频压缩得更好，这解释了为什么大多数小参数注意力机制模型在多模态任务上 struggle。注意力机制的计算开销使得用数十亿而非数千亿参数实现复杂的多模态理解几乎不可能。

但 RockAI 主张的是完全不同的扩展规律：「压缩智能 + 自主学习」。不是建造更大的海绵，而是创造能成长的小大脑。

「真正的智能不应该只是压缩，」RockAI 首席执行官刘凡平在 2025 年世界人工智能大会上争辩道，「它应该是成长和学习。人类大脑不会预装所有知识——它们通过与环境的互动来发展。」

通过分区激活，Yan 模型理论上可以扩展到数千亿参数，同时通过对任何给定任务只激活相关 3% 来保持低功耗。这种架构方法暗示了一种不同的扩展规律：不是预训练越来越大的模型，而是部署通过真实世界互动成长的小模型。

更重要的是，这种方法实现了当前架构不可能做到的事：小规模下的真正多模态理解。Yan 2.0 预览版仅有 30 亿参数，却能同时处理文本、图像和音频，在树莓派上以每秒 5 个词元的速度运行——这对任何同等规模的传统注意力机制模型来说都是不可能的壮举。

计算鸿沟

当我们审视边缘部署的物理现实时，当前方法的局限变得清晰。RockAI 与硬件制造商打交道的经验揭示了理论讨论经常忽略的残酷现实。

「我们有个客户想在智能手机上部署人工智能能力，」邹佳思在极客公园采访中回忆道，「但其他每家人工智能公司都要求最新的旗舰高通芯片，配 16GB 或更多内存。现实是，大多数智能设备无法支持如此高端的硬件。」

这就造成了 RockAI 所称的「计算鸿沟」——无论你的人工智能技术多先进，如果它只能在最贵的设备上工作，它就没有实现真正人工智能所需的民主化。

功耗挑战同样严峻。智能手机制造商一致报告，尝试部署大模型会导致严重过热——这是基于注意力机制架构的普遍问题。几家主要移动制造商已向 RockAI 私下分享了这一痛点，表达对他们人工智能手机野心被根本能源约束阻挡的沮丧。

人脑类比在这里很有启发性。人脑有约 800-900 亿神经元，相当于一个 800-900 亿参数的模型。如果大脑同时激活所有神经元，将需要 3000-4000 瓦功率。相反，它通过选择性激活相关神经区域，消耗不到 30 瓦。

「这正是我们的分区激活所实现的，」杨华在量子位采访中解释道，「不是点亮整个模型，我们只激活每个任务所需的特定区域，实现类似大脑的效率。」

离线智能的隐藏需求

当科技世界痴迷于基于云的人工智能能力时，RockAI 发现了一件令人惊讶的事：对真正离线智能的显著市场需求已经存在，尤其是在全球市场，三个因素创造了引人注目的商业驱动。

隐私刚需：在欧洲和北美，数据隐私不仅仅是用户偏好——它往往是嵌入通用数据保护条例等法规的法律要求。对于玩具、教育设备或个人电子产品的制造商来说，把用户数据留在本地不是可选项。RockAI 目前正在与一家大型玩具知识产权公司谈判，其主要要求就是任何用户隐私数据绝不能到达云端。

网络不可靠：在主要城市中心之外，可靠的高速互联网仍然不稳定。对于全球销售的制造商来说，依赖云连接严重限制了市场覆盖范围。RockAI 的客户经常服务于非洲荒野地区、东南亚岛屿和其他网络可用性无法保证的区域。

经济效率：在大规模情况下，本地处理往往被证明比每次查询的云接口成本更经济。对于每天可能产生数千次人工智能请求的设备来说，算术变得引人注目——硬件成本一次性支付，而云成本无限累积。

RockAI 的当前客户群反映了这些现实。他们已获得人工智能电脑和平板电脑的生产订单，将于 2025 年下半年出货到海外市场，使制造商能够通过空中更新为现有硬件改造人工智能能力。机器人公司需要没有网络延迟的实时响应。无人机制造商在连接不可能的环境中需要可靠的人工智能。

游戏作为智能测试

2025 年世界人工智能大会的游戏演示不仅仅是 spectacle——它们代表了复杂的认知基准。游戏需要快速决策、战略规划、视觉处理和实时适应变化条件的能力。成功展示这些能力完全在本地硬件上运行，证明了 Yan 的架构能够处理通用智能应用最终需要的复杂实时推理。

玩俄罗斯方块式游戏和挖矿模拟的机械手必须同时：

• 处理视觉输入以理解游戏状态
• 提前几步规划最优动作
• 执行精确的电机控制
• 基于变化的游戏条件调整策略
• 从失败尝试中学习以改进表现

所有这一切仅由 30 亿参数在普通硬件上本地运行——如果使用传统注意力机制架构，这将需要数量级更多的计算资源。

会学习的机器狗代表了甚至更重要的里程碑。基于人类示范实时获取运动技能需要：

• 多模态感官处理（视觉、本体感觉）
• 运动模式识别和编码
• 运动规划和执行
• 神经通路更新以保留记忆
• 带适当时序的行为复现

整个流程完全离线运行。新知识直接编码进模型的神经权重，而非存储在外部数据库中。这代表了一种根本不同的人工智能方法。

超越注意力机制

RockAI 的方法抵达了人工智能发展的关键时刻。行业开始质疑基于注意力机制的扩展是否代表唯一的前进路径，连 Google——注意力机制的诞生地——最近也引入了替代架构如递归混合模型，将内存需求减半同时推理速度翻倍。

怀疑甚至延伸到现代人工智能的架构师们。Yann LeCun，Meta 首席人工智能科学家兼图灵奖共同得主，对当前局限发表了直率的言论，认为自回归大语言模型是「指数发散的扩散过程」，顺序词元生成长序列中会产生级联错误。

「行业在集体询问基于注意力机制的架构是否已到达分叉点，」杨华在量子位采访中观察道，「各种混合架构的出现反映了行业潜意识的回应：当前方法已经不够用了。」

这种转变反映了人工智能发展中更深的张力。虽然注意力机制模型在云端基准测试上继续推进，但其根本设计假设使它们难以适应代表人工智能最终部署目标的边缘计算场景。每部智能手机、智能汽车、机器人系统和物联网设备都是一个潜在的人工智能端点，而当前架构无法有效服务。

RockAI 将自己定位为不是注意力机制技术的对手，而是针对不同场景优化的互补方法的先驱。「注意力机制在拥有无限资源的云端环境中表现出色，」刘凡平在 2025 年世界人工智能大会期间的一份声明中解释道，「但人工智能最终必须无处不在，而这需要根本不同的架构方法。」

愿景：集体智能与分布式通用智能

除了即时商业应用，RockAI 怀有更宏大的愿景：将集体智能作为通往通用智能的路径。不是追求越来越大的集中式模型，他们设想的是专门化边缘设备网络，一起学习、协作和进化。

「人类社会展示了集体智能的力量，」刘凡平在他的 2025 年世界人工智能大会演讲中解释道，「个体发展专门的专业知识，而协作放大能力。我们相信智能设备应该遵循同样的模式。」

这一愿景想象人工智能模型通过神经通路迁移或任务能力同步来分享所学能力，创造有组织的、专门化的、反馈驱动的模型社区。未来可能不是单一的超级智能系统，而是无数设备「大脑」相互连接、共同进化。

这种分布式智能相比集中式方法有多个优势：

• 韧性：没有单点故障
• 隐私：敏感数据永远不会离开本地设备
• 专门化：不同模型针对特定任务优化
• 可扩展性：通过网络效应增长能力
• 可及性：无论有无连接都能使用人工智能

挑战与逆向押注

RockAI 面临艰巨的挑战。科技巨头拥有巨大的资源，可能通过硬件加速或新型芯片设计来解决注意力机制优化问题。摩尔定律继续推进，可能使移动处理器在几年内就能高效运行更大的模型。

然而，RockAI 的领导层相信他们的架构优势将持续并随着硬件改进而放大。更强大的芯片将支持更大的 Yan 模型和更复杂的能力，而能源效率和自主学习功能将无论计算能力如何改进都保持优势。

「我们不只是建造一个更好的边缘人工智能解决方案，」杨华在量子位采访中澄清道，「我们正在开发人工智能最终如何融入人类生活每个方面的基础架构。」

公司的「逆向押注」反映了对人工智能未来的更深信念。虽然大多数人通过扩展现有方法来追求通用智能，RockAI 证明架构多样性仍然不仅可行，而且至关重要。他们的商业成功表明，广泛的人工智能普及可能需要多条路径，每条针对不同场景和约束优化。

少有人走的路

构建非注意力机制架构需要的不只是技术创新——它要求重建整个人工智能生态系统。当前工具、库、训练框架和硬件优化都假设注意力机制架构。RockAI 必须本质上从基础向上重建软件栈。

「这条路艰难且孤独，」邹佳思在他坦诚的极客公园采访中承认道，「你在对抗整个行业的技术惯性，重建工具链、社区，并克服与新架构相关的认知成本。」

公司的坚持反映了他们所称的「执念基因」——一种模型必须运行在边缘设备上才能实现人工智能真正潜力的坚定信念。这种信念支撑他们度过了两年安静的开发期，而行业正在庆祝基于云的突破。

「我们的护城河不是任何特定的技术功能，」刘凡平在极客公园采访中反思道，「因为聪明的人和团队 abundant。我们的护城河是在未知领域航行所积累的知识，以及我们从第一天起就为边缘智能优化的独特创新基因。」

一种不同的智能

随着人工智能发展以惊人速度加速，RockAI 的方法提供了越来越稀缺的东西：对智能意味着什么以及它应该如何发展的根本不同的视角。不是通过海量参数量追求人类水平性能，他们正在探索人工智能系统如何更像生物智能那样成长和适应——通过体验、记忆和逐步发展。

其影响超越了技术规格。如果人工智能系统能通过互动真正学习和记忆，而不是需要定期在庞大数据集上重新训练，整个人工智能开发的经济模型就会转变。不是需要巨大计算资源的集中式训练，智能可以逐步、本地、个性化地发展。

这一愿景与对人工智能集中化、能源消耗和隐私的日益增长的担忧产生共鸣。虽然基于云的模型展示了令人印象深刻的能力，它们也把权力集中在少数拥有足够资源来训练和运营它们的组织手中。本地学习和成长的边缘智能提供了一种更民主化的替代方案。

长远视角

超越即时的技术成就，RockAI 的工作为人工智能发展代表了某种有价值的东西：证明替代方法仍然可行，并且对特定应用可能更优越。

在一个发展如此迅速的领域，保持架构多样性不只是学术上有趣——它在战略上至关重要。当前方法看来棘手的问题，可能对完全不同的架构和范式迎刃而解。

「如果我们超越本周的新模型发布和基准排名，」杨华在量子位采访中反思道，「以十年甚至三十年的视角来看今天的发展，也许真正照亮这场人工智能竞争深夜的，不是此刻燃烧的最亮火焰，而是后来被认为点燃了一切的那个火花。」