論文の概要: Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine

• arxiv url: http://arxiv.org/abs/2610.22192v1
• Date: Thu, 15 Oct 2026 16:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.197778
• Title: Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine
• Title（参考訳）: 終末RSI:再帰的自己書き換えと政策修正による再帰的自己改善型端末エージェント
• Abstract要約: 評価軌道と批判的再帰的政策再定義(RPR)を交互に行う端末RSIについて述べる。 我々はターン境界スキップ観測GAEを定式化し、トークン固有のベースラインを維持しながら、相互作用ターン間の減衰を適用した。
• 参考スコア（独自算出の注目度）: 59.901906322037355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Converting verifier outcomes into useful policy updates and partial progress into complete task resolution is crucial for terminal agents. We present Terminal-RSI, which alternates Recursive Self-Rewrite (RSR) of verified trajectories with critic-inheriting Recursive Policy-Refine (RPR). We formulate Turn-Boundary Skip-Observation GAE (TB-GAE) to retain token-specific baselines while applying decay across interaction turns. Family Dense Reward (FDR) calibrates semantic progress across task families; Success-Prioritized Reward (SPR) separates strict success from bounded partial credit. A Warm-up Critic Model, recursive critic handoff, and stage-specific learning rates coordinate the two refinement phases. The five-stage sequence from Qwen3.8-27B base model through RSR-1, RPR-1, RSR-2, and RPR-2 yields Terminal-RSI-27B: 19.84% on Terminal-Bench 4.0, 86.52% on Terminal-Bench 2.1, 16.95% on Terminal-Bench 3.0, and 79.00% on Terminal-Bench Hard. On LHTB, process reward rises from 0.21 to 0.37 and strict completion from 0/46 to 5/46; SWR100 success doubles from 3.00% to 6.00%. By recursively coupling verified trajectory rewriting with critic-inheriting policy refinement, each retained stage consolidates discovered behaviors and progressively advances the agent from partial local repairs to strict terminal verification.
• Abstract（参考訳）: 検証結果を有用なポリシー更新に変換し、部分的な進捗を完全なタスク解決に変換することは、端末エージェントにとって不可欠である。 本稿では,Recursive Self-Rewrite(RSR)とRecursive Policy-Refine(RPR)とを交互に行うターミナルRSIを提案する。 ここでは, 回転境界スキップ観測GAE (TB-GAE) を定式化し, トークン固有のベースラインを維持しながら, 相互作用ターン間の減衰を適用した。 Family Dense Reward (FDR) はタスクファミリ間のセマンティックな進歩を校正する; Success-Prioritized Reward (SPR) は厳密な成功を有界部分クレジットから分離する。 ウォームアップ批判モデル、再帰的批判ハンドオフ、ステージ固有の学習率が2つの改善フェーズを調整する。 Qwen3.8-27B ベースモデルから RSR-1, RPR-1, RSR-2, RPR-2 までの5段階のシーケンスでは、ターミナル-RSI-27B が 19.84%、ターミナル-ベンチ 2.1 が 86.52%、ターミナル-ベンチ 3.0 が 16.95%、ターミナル-ベンチハードが 79.00% となる。 LHTBでは、プロセス報酬は0.21から0.37に上昇し、0/46から5/46に厳格に完了し、SWR100の成功率は3.00%から6.00%に倍増する。 再帰的に検証された軌道書き換えと批判・継承政策の洗練を結合することにより、保持された各段階は発見された挙動を集約し、エージェントを部分的な局所的な修復から厳密な端末検証へと段階的に前進させる。

関連論文リスト

• Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite [33.35609516072481]
  本稿では,多種多様なハーネス下での解の発見のために再帰的自己書き換えを提案する。 プランナーは、手順をランブックに抽出し、バリデーションとソリューションリークの批評家画面を作成し、エグゼキュータは、新鮮なサンドボックスで適格なランブックに従う。 3機のハーネスが759のタスクを共同で解決し、記録されたプールの中で最強の個人ハーネスより34.3%多い。
  論文  参考訳（メタデータ） (2026-10-02T05:17:40Z)
• T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks [27.750923745153145]
  T1は、強化学習で訓練された122BのMixture-of-Expertsモデルである。 実際のシェルをクラウドサンドボックスで運用し、タスク毎に最大300以上のツールコールを回し、各タスク独自の検証を実行することで報酬を得る。 Terminal-Bench 2.1では、最初のベースモデルを43.8%からT1に引き上げ、64.0%が解決した。
  論文  参考訳（メタデータ） (2026-09-10T03:42:01Z)
• Let Credit Follow Computation: Architecture-Aware Credit Transport for Large Language Model Reinforcement Learning [0.3208888890455612]
  大規模言語モデル強化学習(LLM RL)における信用割当は3つの対象に分けることができる。 最近の研究は、証拠、サンプリング、および幾何の更新を大幅に改善しているが、輸送オペレータは通常、アーキテクチャに依存しない。 計算条件付きクレジットトランスポート(CCT)は,動作ポリシの内部計算の分離統計が因果カーネルをパラメータ化する一般的なフレームワークである。
  論文  参考訳（メタデータ） (2026-08-21T16:25:26Z)
• From Reasoning Strings to Partial Orders: Verifier-Certified Rule Transport through Quotient Policy Optimization [16.40477770836083]
  Verifier-Certified Rule Transport (VCRT) は、隣接する操作ペアをネイティブ検証器でリプレイする。 本物の前提条件を保存するために反ダイヤモンドを使用し、各認定軌道の総確率質量にポリシークレジットを割り当てる。 本稿では,ProofWriter,CLRS,Lean間での残余転送を,共有リレーショナルグラフインターフェースを通じて評価する。
  論文  参考訳（メタデータ） (2026-08-20T07:28:37Z)
• Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
  Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。 RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。 軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
  論文  参考訳（メタデータ） (2026-08-05T23:24:26Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• ReacTOD: Bounded Neuro-Symbolic Agentic NLU for Zero-Shot Dialogue State Tracking [2.2573512203799626]
  本稿では,NLUを独立したツールコールとして再構成する有界神経シンボルアーキテクチャであるReacTODを提案する。 有界ReActループは反復自己補正を可能にし、MultiWOZ上のシングルパス推論よりも最大9.3ポイント精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-18T20:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。