論文の概要: ACC: Compiling Agent Trajectories for Long-Context Training

• arxiv url: http://arxiv.org/abs/2605.21850v1
• Date: Thu, 21 May 2026 00:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.040065
• Title: ACC: Compiling Agent Trajectories for Long-Context Training
• Title（参考訳）: ACC:長期学習のためのコンパイルエージェントトラジェクトリ
• Authors: Qisheng Su, Zhen Fang, Shiting Huang, Yu Zeng, Yiming Zhao, Kou Shi, Ziao Zhang, Lin Chen, Zehui Chen, Lijun Wu, Feng Zhao,
• Abstract要約: Agent Context Compilationは、検索、ソフトウェアエンジニアリング、データベースクエリエージェントからのトラジェクトリを、長いコンテキストのQAペアに変換する。 ACCはシンプルだが効果的なアプローチであり、既存のロングコンテキスト拡張やトレーニングメソッドと組み合わせることができる。
• 参考スコア（独自算出の注目度）: 36.977301208747015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent development of agents has renewed demand for long-context reasoning capacity of LLMs. However, training LLMs for this capacity requires costly long-document curation or heuristic context synthesis. We observe that agents produce massive trajectories when solving problems, invoking tools and receiving environment observations across many turns. The evidence needed to answer the original question is thus scattered throughout these turns, requiring integration of distant context segments. Nevertheless, standard agent SFT masks tool responses and only trains turn-level tool selection, creating a supervision blind spot where these scattered signals go unused. We propose Agent Context Compilation (ACC), which converts trajectories from search, software engineering, and database querying agents into long-context QA pairs that combine the original question with tool responses and environment observations gathered across multiple turns, training the model to answer directly without tool use. This makes the dependencies between the question and the evidence explicit, enabling direct supervision of long-context reasoning over distant segments without additional annotation. ACC is a simple but effective approach that can be combined with any existing long-context extension or training method, providing scalable supervised fine-tuning data. We validate ACC on long-range dependency modeling tasks through MRCR and GraphWalks, challenging benchmarks requiring cross-turn coreference resolution and graph traversal over extended contexts. Training Qwen3-30B-A3B with ACC achieves 68.3 on MRCR (+18.1) and 77.5 on GraphWalks (+7.6), results comparable to Qwen3-235B-A22B, while preserving general capabilities on GPQA, MMLU-Pro, AIME, and IFEval. Further mechanism analysis reveals that the ACC-trained model exhibits task-adaptive attention restructuring and expert specialization.
• Abstract（参考訳）: 近年, LLMの長文推論能力への需要が高まっている。 しかし、この能力のためにLLMを訓練するには、長いドキュメントのキュレーションやヒューリスティックな文脈合成が必要となる。 課題の解決やツールの呼び出し,環境観察の受け取りなどにおいて,エージェントが膨大なトラジェクトリを生成するのを観察する。 したがって、元の質問に答えるために必要な証拠はこれらのターン全体に散らばり、遠方の文脈セグメントを統合する必要がある。 それでも、標準エージェントのSFTマスクはツール応答を訓練し、ターンレベルのツール選択のみを訓練する。 本稿では,検索,ソフトウェア工学,データベース問合せエージェントからのトラジェクトリを長いコンテキストQAペアに変換するエージェントコンテキストコンパイル(ACC)を提案する。 これにより、疑問とエビデンスの間の依存関係を明確にし、追加のアノテーションなしで遠くのセグメント上での長いコンテキスト推論の直接的な監督を可能にする。 ACCは、既存のロングコンテキスト拡張やトレーニングメソッドと組み合わせて、スケーラブルな教師付き微調整データを提供する、シンプルだが効果的なアプローチである。 MRCRとGraphWalksによる長距離依存性モデリングタスクにおけるACCの有効性を検証する。 Qwen3-30B-A3BをACCでトレーニングし、MRCR(+18.1)で68.3、GraphWalks(+7.6)で77.5、Qwen3-235B-A22Bに匹敵する結果を得た。 さらなるメカニズム解析により,ACC学習モデルはタスク適応型注意再構成と専門家の専門化を示すことが明らかとなった。

関連論文リスト

• Reinforcement Learning for Tool-Calling Agents in Fast Healthcare Interoperability Resources (FHIR) [0.4635383898871528]
  マルチターンのCodeエージェントを実装し、カスタムハーネスとツールを使用して強化学習を施した後訓練を行う。 提案手法は,より小型で安価なQwen3-8Bモデルを用いて,FHIR-AgentBench上で50%(o4-mini)から77%に改善する。
  論文  参考訳（メタデータ） (2026-05-13T21:27:21Z)
• Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context [64.09777482878083]
  本稿では,LVLMの長期継続事前学習に関する体系的研究について述べる。 まず、長文書VQAはOCR転写よりかなり効果的であることを示す。 MMProLongは,Qwen2.5-VL-7Bの長文継続事前学習で得られる5Bの予算しか持たない。
  論文  参考訳（メタデータ） (2026-05-13T17:52:53Z)
• UniToolCall: Unifying Tool-Use Representation, Data, and Evaluation for LLM Agents [22.52508596251479]
  構築とデータセット生成から評価に至るまで,パイプライン全体を標準化するツール学習用統合フレームワークであるUniToolCallを提案する。 我々は、7つの公開ベンチマークを、関数呼び出し、ターン、会話のレベルできめ細かい評価を施した、クエリ-Action--Observation-Answer (QAOA) 表現に変換する。 Anchoror-Heavy Hybrid-20では、1ターンのStrict Precisionを93.0%達成し、GPT、Gemini、Claudeといった商用モデルを上回っている。
  論文  参考訳（メタデータ） (2026-04-13T14:43:47Z)
• SWE-QA-Pro: A Representative Benchmark and Scalable Training Recipe for Repository-Level Code Understanding [41.98672557723593]
  SWEQA-Proは,多種多様な長期リポジトリと実行可能な環境から構築されたベンチマークである。 さらに,2段階のトレーニングレシピであるSupervised Fine-Tuning(SFT)とReinforcement Learning from AI Feedback(RLAIF)という,スケーラブルな合成データパイプラインを提案する。 SWE-QA-ProのGPT-4oを2.3ポイント超え、最先端モデルとのギャップを大幅に狭める。
  論文  参考訳（メタデータ） (2026-03-17T05:12:48Z)
• Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
  Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。 有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。 我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
  論文  参考訳（メタデータ） (2026-01-28T00:36:13Z)
• Learning to Refine: An Agentic RL Approach for Iterative SPARQL Query Construction [0.18907108368038208]
  現在のメソッドでは、リアルタイム実行フィードバックに基づいてクエリを動的にデバッグするために必要なアダプティブポリシーが欠如している。 本稿では,LLMが繰り返しSPARQL構築のシーケンシャルなプロセスに対してレジリエントなポリシーを学習する,新しいエージェント・フレームワークを提案する。 結果駆動型強化学習(GRPO)によってのみ訓練されたコンパクトな3B-パラメータモデルが,このタスクの効果的なポリシを学習可能であることを示す。
  論文  参考訳（メタデータ） (2025-11-14T08:44:58Z)
• Empowering RepoQA-Agent based on Reinforcement Learning Driven by Monte-carlo Tree Search [70.63903518295785]
  モンテカルロ木探索によるエージェント強化学習フレームワークRepoSearch-R1を紹介する。 RepoSearch-R1に基づいて,リポジトリ質問応答タスク用に設計されたRepoQA-Agentを構築する。
  論文  参考訳（メタデータ） (2025-10-30T09:10:36Z)
• SPELL: Self-Play Reinforcement Learning for evolving Long-Context Language Models [79.01078135582127]
  SPELLは、長文推論のためのスケーラブルでラベルなしの最適化を可能にする。 本稿では、文書長を徐々に向上させる自動カリキュラムと、モデルの進化する機能に質問の難しさを適応させる報奨関数を導入する。
  論文  参考訳（メタデータ） (2025-09-28T13:08:10Z)
• Reading Between the Timelines: RAG for Answering Diachronic Questions [8.969698902720799]
  我々は、時間論理を注入するためにRAGパイプラインを根本的に再設計する新しいフレームワークを提案する。 提案手法は回答精度を大幅に向上し,標準RAG実装を13%から27%上回る結果となった。 この研究はRAGシステムに対する検証された経路を提供し、複雑な現実世界の質問に必要とされるニュアンス付き進化分析を行うことができる。
  論文  参考訳（メタデータ） (2025-07-21T05:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。