論文の概要: TrajLong: Co-Designing Agentic and Long-Context Supervision for Mid-Training

• arxiv url: http://arxiv.org/abs/2610.04973v1
• Date: Sun, 04 Oct 2026 05:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 07:25:56.415223
• Title: TrajLong: Co-Designing Agentic and Long-Context Supervision for Mid-Training
• Title（参考訳）: TrajLong: 中間トレーニングのためのエージェントと長期監視の共同設計
• Abstract要約: そこでTrajLongを紹介した。TrajLongは、トラジェクトリを長いコンテキストのトレーニングタスクにコンパイルし、厳密な監視を行うフレームワークである。 6つの長コンテキストと12のエージェントベンチマークの実験は、広範なパフォーマンス向上を示している。 以上の結果から,長文推論とエージェント実行の共有能力要求は,下流エージェント機能を開発するためにトレーニング中のデータを設計するための基本となることが示唆された。
• 参考スコア（独自算出の注目度）: 28.54246214292371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents for coding, search, and workplace tasks increasingly rely on long-context capabilities to effectively aggregate and reason over extended interaction histories. Recent work has incorporated agent trajectories into mid-training stage, drawing on their naturally long and interaction-rich structure. Yet how to organize the information within these trajectories into effective mid-training supervision remains underexplored. In this work, we investigate the relationship between long-context and agent atomic capabilities and introduce TrajLong, a novel framework that compiles trajectories into long-context training tasks with dense supervision, targeting three representative atomic capabilities: evidence grounding, cross-evidence aggregation, and temporal state maintenance. We mid-train Qwen3-14B-Base and Qwen3-30B-A3B-Base with data compiled by TrajLong, followed by supervised fine-tuning. Experiments on 6 long-context and 12 agent benchmarks demonstrate broad performance gains, with controlled ablations showing improvements over raw and masked trajectory baselines. Capability-level analyses further reveal task-dependent associations between long-context and agent atomic capabilities. These findings suggest that the shared capability demands of long-context reasoning and agent execution provide a principled basis for designing mid-training data to develop downstream agent capabilities.
• Abstract（参考訳）: コーディング、検索、職場タスクのためのLLMエージェントは、拡張されたインタラクション履歴を効果的に集約し、推論するために、長いコンテキスト機能に依存している。 最近の研究は、エージェントの軌道を中級訓練段階に組み入れ、自然に長く相互作用に富んだ構造を描いている。 しかし、これらの軌道内の情報を効果的な中等教育の監督にどのように整理するかは、まだ解明されていない。 本研究では, 長期コンテキストとエージェント原子能力の関係を考察し, 軌跡を密集した長期コンテキストトレーニングタスクにコンパイルする新しいフレームワークであるTrajLongを紹介し, 証拠の接地, クロスエビデンス・アグリゲーション, 時間的状態維持の3つの代表的な原子機能をターゲットにした。 Qwen3-14B-BaseとQwen3-30B-A3B-Baseの中間で、TrajLongがコンパイルしたデータと教師付き微調整を行った。 6つの長コンテキストと12のエージェントベンチマークの実験では、生および仮面のトラジェクトリベースラインよりも改善された制御されたアブレーションにより、広範なパフォーマンス向上が示されている。 能力レベルの分析により、長いコンテキストとエージェント原子能力の間のタスク依存の関連がさらに明らかになる。 以上の結果から,長文推論とエージェント実行の共有能力要求は,下流エージェント機能を開発するためにトレーニング中のデータを設計するための基本となることが示唆された。

関連論文リスト

• HIPIF: Hierarchical Planning and Information Folding for Long-Horizon LLM Agent Learning [51.95194664412812]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる自律エージェントとして強力な能力を示している。 長期LLMエージェント学習のための階層的計画と情報フォールディング(HIPIF)を提案する。 HIPIFはエージェントをエンドツーエンドにトレーニングし、明示的なサブゴールの周りに長い水平実行を組織すると同時に、完了したサブゴール履歴を折り畳み、長いコンテキスト干渉を減らす。
  論文  参考訳（メタデータ） (2026-06-09T07:35:14Z)
• AgentFugue: Agent Scaling for Long-Horizon Tasks through Collective Reasoning [57.72181998599248]
  AgentFugueは、共通の推論ハブを中心に構築された、集合的推論フレームワークである。 ピアエージェントが同じタスクを並列に探索する際、ハブは各エージェントが何を確立、試み、あるいは除外したかを簡潔に記録する。 この結果から,集団推論によってピアエージェントシステムのスケールアウトが実現可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-23T09:21:51Z)
• ACC: Compiling Agent Trajectories for Long-Context Training [36.977301208747015]
  Agent Context Compilationは、検索、ソフトウェアエンジニアリング、データベースクエリエージェントからのトラジェクトリを、長いコンテキストのQAペアに変換する。 ACCはシンプルだが効果的なアプローチであり、既存のロングコンテキスト拡張やトレーニングメソッドと組み合わせることができる。
  論文  参考訳（メタデータ） (2026-05-21T00:47:03Z)
• LongSeeker: Elastic Context Orchestration for Long-Horizon Search Agents [63.75550089045995]
  ロングホライズン検索エージェントは、理由として急速に成長する作業状況を管理し、ツールを呼び、情報を観察しなければならない。 エージェントの軌道の一部は、タスクに対する現在の関連性に応じて、異なるレベルで細部まで維持される。 我々は10kの合成軌道上にQwen3-30B-A3Bを微調整した長距離探索エージェントであるLongSeekerを開発した。
  論文  参考訳（メタデータ） (2026-05-06T17:54:16Z)
• AgentSwing: Adaptive Parallel Context Management Routing for Long-Horizon Web Agents [115.18197165538943]
  大規模言語モデル(LLM)は、長距離情報探索のための自律エージェントへと進化する。 既存のコンテキスト管理手法は通常、軌道全体を通して単一の固定戦略にコミットする。 本稿では,探索効率と終端精度の2つの相補的な次元を通じて,長期的成功を特徴付ける確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-29T02:59:27Z)
• Context as a Tool: Context Management for Long-Horizon SWE-Agents [38.950807465620365]
  我々は,エージェントの意思決定プロセスに統合された呼び出し可能なツールにコンテキストメンテナンスを高める新しいコンテキスト管理パラダイムであるCATを提案する。 CATは、安定なタスクセマンティクス、凝縮した長期記憶、高忠実な短期相互作用からなる構造化されたコンテキストワークスペースを形式化する。 我々は,SWE圧縮機が57.6%の解率に達し,ReActベースのエージェントと静的圧縮ベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2025-12-26T17:15:47Z)
• CoDA: A Context-Decoupled Hierarchical Agent with Reinforcement Learning [12.710191300398924]
  我々は,低レベルの実行から高レベルの計画を切り離す強化学習フレームワークであるCoDAを紹介する。 CoDAは、複雑なマルチホップ質問応答ベンチマークにおける最先端のベースラインよりも、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-12-14T14:41:29Z)
• COMPASS: Enhancing Agent Long-Horizon Reasoning with Evolving Context [17.575806280348797]
  小さなエラーはステップにまたがって複雑で、最先端のモデルでさえしばしばコヒーレンスを幻覚または失う。 本稿では,戦術的実行,戦略的監視,文脈的組織を3つの特殊コンポーネントに分離する軽量階層型フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-09T20:14:26Z)
• Chain-of-Thought Matters: Improving Long-Context Language Models with Reasoning Path Supervision [40.63870977649693]
  Chain-of-Thoughtプロンプトは、多段階推論を約束するが、長文シナリオの有効性は未検討のままである。 本稿では,LongRePSを提案する。LongRePSは,長いコンテキスト性能を向上させるための高品質な推論経路をモデルに教えるフレームワークである。 本フレームワークには,推論パスをブートストラップする自己サンプリング機構と,長期シナリオ用に設計された新しい品質評価プロトコルが組み込まれている。
  論文  参考訳（メタデータ） (2025-02-28T07:15:12Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。