英伟达重磅开放Harness,AI自我革新时代来临

资讯动态

5072

英伟达近日推出了一项重大举措,重磅开源了其全新的Harness——SoL-Pi。该系统以Pi为基础,重新构建了一种高效的Harness增强层,使得AI能在自身内部进行迭代与优化。在这一高效的自动化流程中,人工智能也成为了研究工作的一员。它通过观察Agent的工作过程,分析哪些环节消耗了过多的Token,提出改进方案并修复错误,最后将这些优化方案送往测试。整个改进过程从152个潜在方向出发,最终筛选出四个高效的架构机制。实际测试结果非常惊人——Token使用量最多降低了64%,API调用成本大幅减少了50%至54%。在专业研究环境中,每小时可节省8.75美元至13.5美元。英伟达为AI削减成本打开了新的大门。

about image

使用SoL-Pi的配置也十分简单,仅需一行代码即可将其安装到现有的Pi系统中:「pi install git:github.com/NVlabs/SoL-Pi」。在利用AI进行自我改进之前,是否可以先让其预估改进带来的成本?Harness作为AI模型运行时所需的综合框架,成为了提升效率的绝佳选择。模型负责推理,Harness则整合工具、上下文、反馈和任务流程,使得模型能够执行文件读取、代码修改、测试运行等一系列任务,并根据结果进行后续操作。相同的模型在不同的Harness中,工作效率可能存在巨大差异。

目前编程智能体的任务越来越复杂,涉及的事项越来越多,从基础的代码修改到跨仓库修复,再到长时间的自主工作,单一任务可能持续数小时。在这种情况下,一些平时看似不显眼的Token浪费不断积累。对于已经修改的文件,在进行测试时,模型往往需要重复推理,之前读取过的大文件依然需要重新处理。几千行日志中,真正影响决策的内容或许只有几行,而贵重的模型却不得不重新读取。递归自我改进(RSI)同样面临这一成本问题,AI每次尝试自我优化都要消耗Token,即便是失败的尝试也不例外。

SoL-Pi的推出正是为了解决这些问题。最终结果表明,与基础Pi相比,SoL-Pi在Token使用上减少了45%至49%,整体成本降低约三分之一,得分维持在94%左右。与Codex和Claude Code原有的Harness相比,Token的使用减少了35%至64%,成本也低了50%到54%。如此惊艳的成果,SoL-Pi究竟是如何实现的呢?需要详细解析其核心的四大机制。

英伟达最终在其流程中提炼出的四个机制,专门针对重复性劳动进行了优化。第一项机制是动作融合(Action Fusion),此机制旨在一次性完成编辑与验证,减少模型决策环节的冗余。在传统的Pi运行模式中,用户常常需要经历修改文件、接收结果,并再调用命令进行测试或构建的过程。通过将编辑操作及其后续命令合并为一个本地执行序列,Action Fusion有效减少了模型的重复请求。

第二项机制是在线上下文压缩(Online Context Compact),针对上下文过长引发的计算和资金负担问题进行动态调整。通过将已完成的子任务视作压缩的潜在点,该机制能够在保证效益的前提下,决定最佳压缩时机,确保压缩操作的实施能够覆盖重写带来的成本。

about image

第三项机制是输出归档与索引(ObservationPack),旨在处理因大型工具输出造成的资源浪费。该机制通过取代重复的完整输出,仅保留一个短句柄和部分摘录,减少上下文中对缓存的持续消耗。

about image

最后一项是证据保留筛选器(Evidence-Preserving Reducer),这一机制引入了严格的证据验证过程,使得处理长日志更加精确和有效。通过以上四项核心机制的运用,SoL-Pi展现出无法比拟的自我革新能力,为AI技术的未来铺平了道路。

足球,让你体验团队合作与个人荣耀的完美结合。...

足球,让你体验团队合作与个人荣耀的完美结合。...