論文の概要: Selecting Long-Horizon Trajectories for Reliable and Efficient Terminal-Agent Training
- arxiv url: http://arxiv.org/abs/2610.05831v1
- Date: Mon, 05 Oct 2026 05:35:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 03:59:42.146332
- Title: Selecting Long-Horizon Trajectories for Reliable and Efficient Terminal-Agent Training
- Title（参考訳）: 信頼性・高能率終端訓練のための長軸軌道の選択
- Abstract要約: 本研究では,訓練用トラジェクトリトークンの個数であるEmphsupervision平地について検討し,信頼性とコストの鍵となる設計軸であることを示す。
12Kの地平線は16K以上のタスクを解決し、トレーニング時間を30%削減する。
そこで本研究では,まず短い接頭辞で訓練し,温暖化開始モデル下での継続のみを改良する長方形長方形精錬法を提案する。
- 参考スコア（独自算出の注目度）: 17.988271350238705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Terminal agents are commonly trained by imitating long teacher trajectories, yet how much of each trajectory to supervise remains unexplored. We study the \emph{supervision horizon}, the number of trajectory tokens retained for training, and show that it is a key design axis for reliability and cost. Reliability improves with longer horizons but saturates: on Terminal-Bench, a 12K-token horizon solves more tasks than 16K ($29\pm0.7$ vs.\ $26\pm0.8$) while requiring 30\% less training time. The horizon also shapes agent behavior: short horizons cause premature termination, intermediate horizons yield productive error recovery, and long horizons induce over-persistence. We analyze this saturation through a bias--complexity bound, in which longer supervision reduces temporal supervision bias but increases finite-sample estimation error from more heterogeneous late-stage histories. Guided by this analysis, we propose \emph{selective long-horizon refinement}, which first trains on short prefixes and then refines only on continuations that are most likely under the warm-start model. It consistently outperforms full long-horizon training. At 16K, it raises successful attempts from $110\pm2.7$ to $126\pm2.1$ and tasks solved in at least six of eight attempts from $9\pm0.7$ to $14\pm0.6$; with half of the long-horizon data, it still reaches $122\pm2.4$ while cutting training time by 23\%. The gains transfer across benchmarks, from $64\pm2.6$ to $73\pm2.1$ on Terminal-Bench v2.0 and from $137\pm2.7$ to $155\pm2.2$ on OpenThoughts-TBLite. For long-horizon supervision, selecting the right trajectories matters more than training on all of them.
- Abstract（参考訳）: ターミナルエージェントは通常、長い教師の軌跡を模倣して訓練されるが、それぞれの軌跡のどれ程が探索されていないままである。
トレーニング用トラジェクトリトークンの数である「emph{supervision horizon}」について検討し、信頼性とコストの鍵となる設計軸であることを示す。
12Kの水平線は16K (29\pm0.7$) 以上のタスクを解決します。
トレーニング時間を30倍に抑えながら、$26\pm0.8$に設定する。
短い地平線は早期に終了し、中間地平線は生産的なエラー回復をもたらし、長い地平線は過剰持続を引き起こす。
我々は、この飽和度を、より長い監督が時間的監督バイアスを減少させるが、より異質な後期段階の履歴から有限サンプル推定誤差を増大させる、バイアス-複雑性境界を通して分析する。
この分析によって導かれた「emph{elect long-horizon refinement」は、最初は短い接頭辞で訓練し、その後、おそらくウォームスタートモデルの下での継続にのみ精錬する。
常に長距離訓練に優れる。
16Kでは、1,10\pm2.7ドルから1,26\pm2.1ドルまでの試行が成功し、9,4\pm0.7ドルから1,4\pm0.6ドルまでの8回の試行のうちの少なくとも6回で解決されたタスクは、長い水平データの半分でまだ1,22\pm2.4ドルまで達し、訓練時間を23\%削減している。
6,4\pm2.6$から7,3\pm2.1$から1,37\pm2.7$から1,55\pm2.2$に移行した。
長期の監督のためには、正しい軌跡を選択することは、それらすべてについてトレーニングすることよりも重要である。
関連論文リスト
- QwenGyre: An Elastic Reinforcement Learning Framework for Training xLong-Horizon Agents [28.18450865655772]
大規模言語モデル(LLM)エージェントは、ますます極端に長い(xlong)水平タスクをこなす。
オンライン強化学習(RL)をこのような実行に適用することは、2つの根本的な課題をもたらす。
我々は、xlong-horizon online RLのエンドツーエンドフレームワークであるQwenGyreを紹介する。
論文 参考訳（メタデータ） (2026-09-27T19:02:03Z) - Before the Rollout Ends: Early Terminal Reward Prediction for Long-horizon Coding Agents [65.21544643456632]
長距離符号化エージェントは、高価なツールコールのシーケンスを完了した後のみ、検証可能な報酬を受け取る。
これは推論コストを増大させ、早期の誤った仮説を増幅し、スパース終末報酬と不安定なトレーニングにつながる可能性がある。
本稿では,行動証拠から終末報酬を予測するContextual Early Reward (CER)を紹介した。
論文 参考訳（メタデータ） (2026-09-25T20:53:04Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z) - Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading [46.911171278867585]
Long-Horizon-Terminal-Benchは、9つのカテゴリにまたがる46の長距離タスクの終端ベンチマークである。
各タスクは、参照ソリューションまたはシミュレーションエンジンを備えたターミナルベンチスタイルのセットアップに従うが、さらにきめ細かいサブタスクに格付けされる。
我々は15のフロンティアモデルを評価し、エージェントがタスク毎に平均9.9Mトークンを消費していることを発見した。
論文 参考訳（メタデータ） (2026-07-09T21:56:37Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳（メタデータ） (2026-05-21T04:54:55Z) - KLong: Training LLM Agent for Extremely Long-horizon Tasks [58.68395081637727]
本稿では,極端に長期的課題を解決するために訓練されたオープンソースのLLMエージェントであるKLongを紹介する。
まず、トラジェクトリ分割SFTを用いてモデルをコールドスタートし、次にプログレッシブRLトレーニングによりスケールする。
特に、提案したKLong(106B)は、PaperBenchでKim K2 Thinking(1T)を11.28%上回っている。
論文 参考訳（メタデータ） (2026-02-19T17:01:08Z) - Mixture of Horizons in Action Chunking [36.43925695943073]
本稿では,視覚言語-アクションモデルのための水平線(MoH)$戦略を$textbfmixture of horizons(MoH)として提案する。
MoHは、アクションチャンクを異なる水平線で複数のセグメントに並べ替え、共有アクショントランスで並列に処理し、ライトリニアゲートで出力を融合する。
これは1つのモデルにおいて、長期の予測と短期の精度を共同で利用し、複雑なタスクのパフォーマンスと一般化性の両方を改善している。
論文 参考訳（メタデータ） (2025-11-24T18:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。