散户投资者集团对计算机力量的霸权提出挑战，

这是互联网上最伟大的预培训！ NOUS Research宣布了官方的心理网络发布会，该发布通过分布式方法来创新人工智能培训（AI）。 Psyche Network使用区块链技术来收集全球计算机资源，并成功启动了一项综合40B参数语言模型的前学前任务，建立了迄今为止最高的训练记录，迄今为止，总共拥有200亿个代币。合伙性是一种大型语言模型，使用了多个头（MLA）DeepSeek V3的潜在注意力结构，它比火焰使用的GQA架构更具表现力，同时通过优化QKV投影矩阵来减少计算过载。三个心理比较使用来自世界各地的不活动计算机资源（作为消费程度的GPU，例如4090，A100，H100等）来降低重要的培训成本。通过并行实验，Psyche鼓励开源社区提出培训模型和方法的新架构。 ▲心理网络技术的核心是分销优化器和Solana块链。过去，人们一直认为“对AI模型的分散培训”只是一个幻想，尤其是在超过发烧友大小的语言模型前。但是，一些重要的技术进步，尤其是平行的加强学习，逐渐打破了这一限制，使大型公司外的小团队（例如Openai和人类）进入了赛道。现在，智能算法可以弥补基础设施缺陷，而作为NOUS研究的玩家似乎正在尝试利用这一机会。近年来，AI模型中的培训已由大型技术公司逐渐控制。对前卫 - garde型号的培训需要数千种高性能GPU和超高带宽组，这几乎不可能参加常规研究人员或小型设备。这种密集的趋势不仅限制了创新，而且还投资于垄断，甚至控制AI模型。它可能导致该技术。集中的AI，一些技术巨头可以“比您更了解彼此”。爱马仕（Hermes）3 405B是爱马仕（Hermes）系列的最大模型，已使用基本火焰3.1型号进行了调整。整个训练过程使用了128 GPU H100（总共约2,086小时）大约需要16小时。当涉及到成本时，这并不是真正的丑闻：8当前租用H100的计算机节点每小时费用为$ 16-24，因此完整的培训超载约为5,000美元。 Hermes系列研究的最后一次迭代是Hermes 3 405B，它为Flame-3,1405B具有完整的参数调整模型，但是如果您想进一步发展并思考更大，会发生什么？毕竟，爱马仕现在是基于火焰作为基本模型的。如果您不信任现有模型，并且不构建自己的b从头开始，您将需要更大的“船”。实际上，要获得类似和低成本的培训结果存在许多挑战，尤其是当它们从集中的GPU群集转移到基于分布式Internet的网络时。 NOUS研究为心理网络提出了解决方案。通过分布式方法，全球计算机资源将参与AI模型的培训，减少进入障碍并促进AI开发的民主化。 NOUS研究心理成功地实施了分布式培训并创建了一个新模型。心理不仅降低了人工智能发展的门槛，而且还促进了全球合作和创新。合奏模型的预处理只是起点。将来，预计心理网络将成为AI民主化的关键基础，为开源社区和小型团队提供与技术巨头竞争的机会。网络的带宽具有Al当通过分布式培训分散和解决带宽瓶颈时，是最令人担忧的问题之一。界面中的传统数据，GPU是通过极高的带宽连接（例如NVLink和Infiniband）连接的，每秒几百GB（千兆位）。相比之下，互联网志愿者节点通常只有数十或数百个兆位（MB）的带宽。怀疑论者认为，即使在这个带宽差距达到100次或1000次，Intermeeda训练也非常缓慢且不可能。毕竟，传统的培训方法需要在GPU之间连续交换更新，并且试图在常规的国内网络中完成这些通信可能会导致被困在“灾难水平”培训经验中。基于先前的演示研究（单独的脉冲优化），NOUS分配技术允许所有训练节点保持高度同步，从而将所需的带宽减少了1,000-10,000倍。在12月Ember 2024，NOU和几个合作伙伴在封闭的测试网络中培训了150亿个参数的基础，成功地验证了一些理论思想。在分发优化系列中的第一个大型应用程序中，您可以训练任务以查看NODO中心断开并添加完整节点时的容错功能。该实验说明了从分布式和分布式培训的发展到从理论转变为现实的重要步骤。区块链 + AI在某些硅谷圈子中，“密码学”一词几乎变成了一个术语，努力工作以维持开放的通信桥，以确保IA开发人员不会被阻止。因此，当前在区块链中的精神建构是一个了不起而重要的变化。 Psyte将成为下一代预先定型，罚款和实现模型的平台。将技术电池移至Solana块链时，NOUS希望解锁接下来的三个区块链好处：不需要许可。所有这些都可以有助于灵活性和高可用性计算机资源。它可能的扩展使许多书呆子极为刻除。计划摘要NOUS的第一个目标是首先启动封闭的测试网络（阶段0），以查看Solana是否可以执行更大，分布式和抵抗的分配系统。将在后阶段引入更高级的特征。在第0阶段的阶段，纳税人可以携带自己的GPU参加（这是指4090，A100，H100等模型的支持），并开始获得奖励。在此阶段，将选择参与者以防止恶意演员参加。一旦系统稳定，许可证就会逐渐打开，并且各种类型的计算机资源（无论是专业人士还是消费）可以自由访问网络，这有助于培训不同类型的模型架构，例如呼叫和传播。重新学习NG（RL）不是基于预制备数据集，而是通过模型与环境之间的交互来学习。在执行有助于模型演变的行为时，每个节点都会收到积极的反馈。由于这些节点可以异步执行，因此分布式培训通常是在强化学习框架下进行的。每个节点都可以独立行动，收集经验并与其他节点定期分享进度。这大大减少了传统培训中常见的“同步问题”，尤其是当网络的硬件和延迟特性很高时。通过RL，以前训练有素的心理模型可以了解有关推理技能和领域知识的更多信息。此外，培训期间每个心理节点的表现都会影响其奖励。具有强大计算机功率或更高级培训方法的节点可以获得更多的令牌激励措施。区块链：回到最初的意图是看到真正的InnovatIVE导致区块链生态系统，通常被指控“过度夸张和经常失望”。所有这些真的很令人兴奋。相反，NOU从一开始就没有采用区块链技术。 “这条道路，但原因很简单。区块链是解决实践中问题的最合适工具。他们需要一种吸引计算机资源和才能并不管来自何处的方式。在这一点上，区块链非常好。您可以“承担”项目并在此方面关闭它（这是这个时期的讽刺意图）。原始意图是原始的集中式的。 40b型号 + 200亿个令牌，零售投资者挑战了计算机电源的霸权。 “