論文の概要: Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent
- arxiv url: http://arxiv.org/abs/2606.30616v1
- Date: Mon, 29 Jun 2026 17:50:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.36995
- Title: Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent
- Title（参考訳）: パラメータではなく水平のスケーリング:35Bエージェントによるトリリオンパラメータ性能の改善
- Abstract要約: 本稿では,エージェント水平線をスケーリングすることで,パラメータレベルの性能を1兆倍に向上する35B混在エージェントモデルであるAgens-A1を紹介する。
我々は、外部の知識、行動、観察、検証結果を接続する長期の知識-行動基盤を構築します。
Agents-A1は、ロングホライゾンエージェントベンチマークに対して強力で幅広いパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 98.33217711280383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Agents-A1, a 35B Mixture-of-Experts Agentic Model that reaches trillion-parameter-level performance by scaling the agent horizon. We investigate agent-horizon scaling from two perspectives: scaling long-horizon trajectories and scaling heterogeneous agent abilities. To support this goal, we build a long-horizon knowledge-action infrastructure that connects external knowledge, actions, observations, and verifier outcomes, producing agentic trajectories with an average length of 45K tokens. Based on this, we train Agents-A1 with a three-stage recipe. First, we perform full-domain supervised fine-tuning to align the base model with broad agentic behaviors. Second, we train domain-level teacher models to capture specialized expertise in each domain. Third, we propose a multi-teacher domain-routed on-policy distillation with salient vocabulary alignment to improve knowledge transfer efficiency across different domains, unifying six heterogeneous domains into one deployable student model. Agents-A1 achieves strong and broad performance for long-horizon agent benchmarks. Compared with 1T-parameter model such as Kimi-K2.6 and DeepSeek-V4-pro, Agents-A1 achieves leading results on SEAL-0 (56.4), IFBench (80.6), HiPhO (46.4), FrontierScience-Olympiad (79.0), and MolBench-Bind (56.8), and remains highly competitive on SciCode (44.3), HLE (47.6) and BrowseComp (75.5). We hope this work provides the community with a practical path for scaling the horizon using a 35B agent that can reach or match the performance of 1T models on long-horizon tasks.
- Abstract（参考訳）: 本稿では,エージェント水平線をスケーリングすることで,数兆パラメータレベルの性能に達する35B混合エージェントモデルであるエージェント-A1を紹介する。
エージェント・ホライゾンのスケーリングには,長期的軌道のスケーリングと異種エージェントのスケーリングという2つの視点がある。
この目標を達成するために,外部知識,行動,観察,検証結果を接続し,平均45Kトークンのエージェント軌道を生成する,長期の知識行動基盤を構築した。
これに基づいて、3段階のレシピでエージェントA1をトレーニングします。
まず、ベースモデルと幅広いエージェント動作を一致させるために、フルドメインで教師付き微調整を行う。
第2に、ドメインレベルの教師モデルをトレーニングして、各ドメインの専門知識を捉えます。
第3に,異なるドメイン間の知識伝達効率を向上させるために,多教師ドメインを多言語で抽出したオンライン蒸留法を提案し,異種ドメインを1つの展開可能な学生モデルに統一する。
Agents-A1は、ロングホライゾンエージェントベンチマークに対して強力で幅広いパフォーマンスを達成する。
Kimi-K2.6やDeepSeek-V4-proのような1Tパラメーターモデルと比較すると、エージェント-A1はSEAL-0 (56.4)、IFBench (80.6)、HiPhO (46.4)、FrontierScience-Olympiad (79.0)、MollBench-Bind (56.8)で先行し、SciCode (44.3)、HLE (47.6)、BrowseComp (75.5)で高い競争力を維持している。
この研究は、長距離タスクにおける1Tモデルの性能に到達または一致可能な35Bエージェントを使用して、地平線をスケールするための実践的なパスをコミュニティに提供することを願っている。
関連論文リスト
- AgentOmnia: Scaling Agentic Models for Full-Scenario Applications [36.656762500581216]
大規模言語モデルエージェントは急速に進歩しているが、ドメイン、機能、タスクの難しさ、インタラクション設定にはまだ進歩が断片化されている。
これはTo-Consumer(ToC)、To-Business(ToB)、To-Employee(ToE)アプリケーション間でタスク空間の定義、データ合成、ポストトレーニング、評価、改善を調整するフレームワークです。
論文 参考訳（メタデータ） (2026-07-25T09:58:24Z) - Structured Distillation of Web Agent Capabilities Enables Generalization [33.41723014134473]
本稿では,人的アノテーションの役割に類似してWebエージェントの合成軌道生成を構築するフレームワークであるAgent-as-Annotatorsを紹介する。
Gemini 3 Proを教師として使用し、6つのWeb環境に3000のトラジェクトリを生成します。
結果、WebArenaでは41.5%が達成され、Claude 3.5 Sonnet (36.0%) や GPT-4o (31.5%) といったクローズドソースモデルを上回る結果となった。
論文 参考訳（メタデータ） (2026-04-09T04:04:15Z) - Yet Even Less Is Even Better For Agentic, Reasoning, and Coding LLMs [28.672417618778976]
効果的なソフトウェアエンジニアリングエージェントの訓練には、大量のタスク固有の軌道が必要である。
より少ないが高品質な訓練軌道で優れたエージェント能力を実現するエンドツーエンドのトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-01T12:33:25Z) - SciAgentGym: Benchmarking Multi-Step Scientific Tool-use in LLM Agents [100.12367115920121]
SciGymAgentは4つの自然科学分野にまたがる1,780のドメイン固有ツールを備えたスケーラブルなインタラクティブ環境である。
SciAgentBenchについても紹介する。
論文 参考訳（メタデータ） (2026-02-13T14:58:18Z) - GenAgent: Scaling Text-to-Image Generation via Agentic Multimodal Reasoning [54.42973725693]
我々は,エージェント型マルチモーダルモデルを用いて,視覚的理解と生成を統一したGenAgentを導入する。
GenAgentはGenEval++とWISEのベースジェネレータ(FLUX.1-dev)のパフォーマンスを大幅に向上させる。
本フレームワークは,1) 様々な機能を持つジェネレータへのクロスツール一般化,2) インタラクションラウンド間で一貫した改善を伴うテスト時間スケーリング,3) タスクに自動的に適応するタスク適応推論の3つの重要な特性を示す。
論文 参考訳（メタデータ） (2026-01-26T14:49:04Z) - APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay [86.01901238059261]
APIGen-MTは検証可能で多様なマルチターンエージェントデータを生成するフレームワークである。
xLAM-2-fc-r 級数で 1B から 70B のパラメータを持つモデル群を訓練する。
我々のモデルは、$tau$-benchとBFCLベンチマークでGPT-4oやClaude 3.5のようなフロンティアモデルより優れている。
論文 参考訳（メタデータ） (2025-04-04T17:13:57Z) - AgentBank: Towards Generalized LLM Agents via Fine-Tuning on 50000+ Interaction Trajectories [44.68479398604844]
エージェント-環境相互作用トラジェクトリデータの微調整は、表向きの汎用エージェント機能にとって重要な約束である。
我々はAgentBankを紹介した。これは、50万以上の多様な高品質なインタラクショントラジェクトリを備えた、これまでで最大のトラジェクトリチューニングデータ収集である。
論文 参考訳（メタデータ） (2024-10-10T08:19:12Z) - xLAM: A Family of Large Action Models to Empower AI Agent Systems [111.5719694445345]
AIエージェントタスク用に設計された大規模なアクションモデルであるxLAMをリリースする。
xLAMは、複数のエージェント能力ベンチマークで例外的なパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-09-05T03:22:22Z) - Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。
パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。
セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-06T03:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。