Fugu-MT 論文翻訳(概要): T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks

論文の概要: T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks

arxiv url: http://arxiv.org/abs/2609.11042v1
Date: Thu, 10 Sep 2026 03:42:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-11 23:53:35.206159
Title: T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks
Title（参考訳）: T1:長期タスクのための端末エージェント強化学習
Abstract要約: T1は、強化学習で訓練された122BのMixture-of-Expertsモデルである。実際のシェルをクラウドサンドボックスで運用し、タスク毎に最大300以上のツールコールを回し、各タスク独自の検証を実行することで報酬を得る。 Terminal-Bench 2.1では、最初のベースモデルを43.8%からT1に引き上げ、64.0%が解決した。
参考スコア（独自算出の注目度）: 27.750923745153145
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Agent usage is shifting toward long-horizon tasks such as coding and scientific discovery, among which terminal tasks are especially important. We introduce T1, a Mixture-of-Experts model of 122B total trained with reinforcement learning, operating a real shell in a cloud sandbox for up to 300+ tool-call turns per task, rewarded by executing each task's own verifier. We provide a comprehensive recipe: First, an aggressively warm-started to stabilize actor-critic training, with a dense process reward scoring trajectories by the absolute number of passing verifiers. Second, stable optimization through TITO construction, training on the exact sampled token identifiers with drift repair at turn boundaries, and rollout routing replay, recording the sampler's per-token expert choices at every MoE layer and replaying them during training. Third, fully out-of-distribution training corpus: isolated seeds and synthesized tasks disjoint from Terminal-Bench 2.1 ensures gains reflect genuine capability transfer over benchmark overfitting. Together, TITO and R3 cut the training-to-inference log-probability difference from 0.021 to 0.013, with exactly aligned zero token drift in the loss region. On Terminal-Bench 2.1, our post-train pipeline raises initial base model from 43.8% to T1 with 64.0% resolved. On Long-Horizon Terminal Bench, T1 reaches 27.9% and surpasses GPT-5.4 and GLM-5.1.
Abstract（参考訳）: エージェントの使用は、特にターミナルタスクが重要であるコーディングや科学的発見などの長期タスクにシフトしている。実シェルをクラウドサンドボックスで運用し,タスク毎に最大300以上のツールコールを回し,各タスクの検証を実行することで報奨を与える。まず、アクター-批評家のトレーニングを積極的に開始し、パス検証器の絶対数によるプロセス報酬のスコアリングトラジェクトリを用いて、アクター-批評家のトレーニングを安定させる。第2に、TITOの構築による安定した最適化、ターンバウンダリでのドリフト修復による正確なサンプルトークン識別子のトレーニング、ロールアウトルーティングのリプレイ、各MoE層でのサンプル毎のエキスパート選択の記録、トレーニング中のリプレイなどである。第3に、完全に配布されないトレーニングコーパス:分離された種と合成されたタスクがターミナルベンチ2.1から切り離され、ベンチマークオーバーフィッティングよりも真の能力移転を反映することを保証する。 TITOとR3は共に、トレーニングと推論の対数確率の差を0.021から0.013に減らした。 Terminal-Bench 2.1では、最初のベースモデルを43.8%からT1に引き上げ、64.0%が解決した。ロング・ホライゾン・ターミナル・ベンチでは、T1は27.9%に達し、GPT-5.4とGLM-5.1を上回っている。

関連論文リスト

PROOF-Gen: From Optimized Data to Better Distillation [6.158612515104146]
ツール呼び出しエージェントを駆動するポストトレーニングパイプラインは、毎日または毎週のケイデンスでこのステージを再実行し、フロンティアと教師の費用を各サイクルに支払う。 2ベンチでは、教員試験の57%が失敗し、その3分の2がほぼミスである。本稿では,これらの故障からゴールデントラジェクトリを回復するPROOF-Genを,シナリオごとのプロンプト最適化により導入する。
論文参考訳（メタデータ） (2026-08-24T23:33:56Z)
Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。 RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
論文参考訳（メタデータ） (2026-08-05T23:24:26Z)
Cross-Benchmark Generalization in Long-Horizon Agents [1.0742728354283815]
我々は,27のカテゴリにわたる363の長距離モデルコンテキストプロトコル(MCP)タスク上で,オープンウェイト・ミックス・オブ・エキスパート・モデルを構築した。トレーニングには外部ベンチマークタスクやグレーダが入らず、報酬、ハイパーパラメータのトレーニング、トレーニングされたチェックポイントの選択、停止を外部スコアが知らせなかった。両方のソフトウェアベンチマークは、ソフトウェアエンジニアリングタスクを含まないトレーニングコレクションにもかかわらず改善されている。
論文参考訳（メタデータ） (2026-07-31T18:05:36Z)
SETA: Scaling Environments for Terminal Agents [49.686781072283814]
強化学習のための検証可能な端末環境を生成するためのスケーラブルなフレームワークであるSETAを提案する。 SETA-Envは、これまでで最大4500以上の環境を含む、オープンソースの検証可能な端末RLデータセットです。
論文参考訳（メタデータ） (2026-07-12T19:40:27Z)
What Makes Interaction Trajectories Effective for Training Terminal Agents? [55.62817294510983]
Terminal-Legoは、現実世界の問題を環境検証されたエージェントタスクに変換するスケーラブルなパイプラインである。下着剤であるDeepSeek-V3.2の軌跡を微調整した学生は、はるかに強力な一般化を示している。 Qwen3-32Bは15.3kの終端レゴ軌道しか持たず、終端ベンチ2.0で24.3%のスコアを獲得し、データボリュームの30倍以上で確立された以前のSOTAのパフォーマンスと競合する。
論文参考訳（メタデータ） (2026-06-02T10:37:47Z)
Terminal-World: Scaling Terminal-Agent Environments via Agent Skills [52.39713754337834]
エージェントスキルを中心的な合成プリミティブとして利用する完全自動化パイプラインである Terminal-World を紹介する。我々は,5,723のトレーニング環境を構築し,端末-ワールド-8B/14B/32Bを6つのベンチマークで評価した。 Terminal-World-32B は Terminal-Bench 2.0 で Nemotron-Terminal-32B を +4.5 Pass@1 (31.5) で上回り、43.8 Pass@3 に達する。
論文参考訳（メタデータ） (2026-05-20T08:14:51Z)
On Data Engineering for Scaling LLM Terminal Capabilities [62.14352406328365]
最先端の端末エージェントの背後にあるトレーニングデータ戦略はほとんど公表されていない。端末エージェントのデータエンジニアリングプラクティスの体系的研究を通じて,このギャップに対処する。当社のパイプラインは,端末タスク用の大規模オープンソースデータセットである Terminal-Corpus を生成する。
論文参考訳（メタデータ） (2026-02-24T18:51:04Z)
Endless Terminals: Scaling RL Environments for Terminal Agents [39.60665149203152]
Endless Terminalsは、人間のアノテーションを使わずに端末用タスクを手続き的に生成する、完全に自律的なパイプラインである。我々は、バイナリエピソードレベルの報酬と最小の相互作用ループを持つバニラPPOを使用してエージェントを訓練する。これらの改善は人為的なベンチマークに移行する。
論文参考訳（メタデータ） (2026-01-23T04:39:55Z)
Agentic Reinforcement Learning for Real-World Code Repair [7.512134741776294]
実際のリポジトリで信頼性の高いコード修正エージェントをトレーニングするという課題に取り組みます。修正後のビルド検証として成功した検証可能なパイプラインを開発しました。大規模強化学習のためのスケーラブルな簡易パイプラインを導入した。
論文参考訳（メタデータ） (2025-10-24T23:25:02Z)
Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model [100.86587937568832]
Ring-1Tは、数兆のパラメータを持つ最初のオープンソースの最先端の思考モデルである。総パラメータは1兆で、1トークンあたり約500億を活性化する。
論文参考訳（メタデータ） (2025-10-21T17:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。