論文の概要: Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite

• arxiv url: http://arxiv.org/abs/2610.02826v1
• Date: Fri, 02 Oct 2026 05:17:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.216253
• Title: Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite
• Title（参考訳）: 再帰的自己書き換えによる複雑なタスクのための軌道のスケーリング
• Abstract要約: 本稿では,多種多様なハーネス下での解の発見のために再帰的自己書き換えを提案する。 プランナーは、手順をランブックに抽出し、バリデーションとソリューションリークの批評家画面を作成し、エグゼキュータは、新鮮なサンドボックスで適格なランブックに従う。 3機のハーネスが759のタスクを共同で解決し、記録されたプールの中で最強の個人ハーネスより34.3%多い。
• 参考スコア（独自算出の注目度）: 33.35609516072481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Successful trajectories on difficult tasks provide valuable supervision for model improvement, but specialized harnesses introduce interventions that may be unavailable during deployment. We propose Recursive Self-Rewrite (RSR), a framework that uses one base model, Qwen-3.8-27B, to discover successful solutions under diverse harnesses and reconstruct them as training trajectories under a general harness. A planner extracts procedures into runbooks, a critic screens for verifier and solution leakage and guides recursive revision, and an executor follows qualified runbooks in fresh sandboxes. Across approximately 3K self-curated terminal tasks, three harnesses jointly solve 759 tasks, 34.3% more than the strongest individual harness in the recorded pool. RSR expands 2,001 successful source trajectories into 11,094 rewritten trajectories for supervised finetuning. Training on these trajectories outperforms both the base model and direct trajectory SFT. Compared with the base model, pass@3 increases from 57.0% to 74.2% on Terminal-Bench 2, from 1.5% to 9.1% on Terminal-Bench 4, from 39.0% to 63.0% on our self-curated Terminal-Bench Hard, and from 3.0% to 6.0% on our Software Terminal-Bench. Process reward on Long-Horizon Terminal-Bench rises from 0.21 to 0.29. These results show how diverse harness-assisted experiences can be reconstructed into reusable capabilities for a model operating under a general harness.
• Abstract（参考訳）: 困難なタスクにおける軌道変更の成功は、モデル改善のための貴重な監視を提供するが、特別なハーネスは、デプロイメント中に利用できないかもしれない介入を導入する。 本稿では,1つの基本モデルであるQwen-3.8-27Bを用いたフレームワークであるRecursive Self-Rewrite(RSR)を提案する。 プランナーは、手順をランブックに抽出し、検証およびソリューションリークの批評家画面と、再帰的なリビジョンをガイドし、実行者は、新鮮なサンドボックスで適格なランブックに従う。 約3Kの自己計算済ターミナルタスクで、3つのハーネスが759のタスクを共同で解決し、記録されたプールの最も強い個人ハーネスより34.3%多い。 RSRは2,001個の成功したソース・トラジェクトリを、教師付き微調整のために11,094個のリライト・トラジェクトリに拡張する。 これらの軌道の訓練は、ベースモデルと直接軌道SFTの両方を上回っている。 基本モデルと比較して、pass@3はターミナルベンチ2では57.0%から74.2%に増加し、ターミナルベンチ4では1.5%から9.1%に、自己計算したターミナルベンチハードでは39.0%から63.0%に、ソフトウェア・ターミナルベンチでは3.0%から6.0%に増加した。 ロング・ホライゾン・ターミナル・ベンチのプロセス報酬は0.21から0.29に上昇する。 これらの結果から,多種多様なハーネス支援体験が,汎用ハーネス下でのモデル運用における再利用可能な機能に再構成できることが示唆された。

関連論文リスト

• Cross-Benchmark Transfer from RL on Agentic Coding Tasks [0.13579757545152057]
  多くの場合、コーディングエージェントは最後の1マイルで失敗する。機能の大部分を構築し、要件をドロップし、実装がすでに処理しているケースのみをテストし、無傷であるはずの動作を壊したり、未確認の仮定に対して検証する。 専門家が構築したエージェントコーディングタスクの強化学習がこのギャップを埋めるか、エージェントが学習するものがトレーニング分布を超えるのかを問う。 我々は,隠れフェール・ツー・パステストとパス・ツー・パステストによって評価された1,700のタスクと,専門家が書いた隠れバリデーションによって評価された700の端末タスクについて,Kim K2.7コードをポストトレーニングした。
  論文  参考訳（メタデータ） (2026-10-01T01:12:24Z)
• T1: Terminal Agent Reinforcement Learning for Long-Horizon Tasks [27.750923745153145]
  T1は、強化学習で訓練された122BのMixture-of-Expertsモデルである。 実際のシェルをクラウドサンドボックスで運用し、タスク毎に最大300以上のツールコールを回し、各タスク独自の検証を実行することで報酬を得る。 Terminal-Bench 2.1では、最初のベースモデルを43.8%からT1に引き上げ、64.0%が解決した。
  論文  参考訳（メタデータ） (2026-09-10T03:42:01Z)
• Recursive Synthesis for Long-Horizon Terminal Tasks [50.39352383646813]
  Recursive Synthetic Terminal Tasks (RST) は、大規模に長期の端末エージェントタスクを構築するためのフレームワークである。 RSTは37,484個の合成端末エージェントタスクを1タスクあたり0.05ドルで生成する。 軌道の微調整により、Qwen3.5-27BとQwen3.5-122B-A10Bはターミナルベンチ2、ターミナルベンチハード、ロングホライゾンターミナルベンチで最大10ポイント改善される。
  論文  参考訳（メタデータ） (2026-08-05T23:24:26Z)
• Orchard: An Open-Source Agentic Modeling Framework [124.68499958175111]
  スケーラブルなエージェントモデリングのためのオープンソースのフレームワークOrchardを紹介します。 Orchard Envは、サンドボックスライフサイクル管理のための再利用可能なプリミティブを提供する軽量環境サービスである。 Orchard Envの上に、3つのエージェントモデリングレシピを構築します。
  論文  参考訳（メタデータ） (2026-05-14T16:35:12Z)
• CAX-Agent: A Lightweight Agent Harness for Reliable APDL Automation [7.355373109826612]
  本稿ではMAPDL自動化のための軽量エージェントハーネスであるCAX-Agentのアーキテクチャについて述べる。 我々は50の標準構造ベンチマークで3つのリカバリ戦略(no_recovery, rule_only, model_only)を評価した。 Model_onlyは、最大完了率(0.9267)、タスクスコア(3.59/4)、総得点(9.16/10)、ゼロ介入率(0.84)、0.7733, 3.17/4, 7.03/10, 0.00)、no_recovery(0.6933, 2.74/4, 5.60/10, 0.00)を大きな効果サイズで達成する。
  論文  参考訳（メタデータ） (2026-05-12T14:46:34Z)
• Mind the Gap Between Spatial Reasoning and Acting! Step-by-Step Evaluation of Agents With Spatial-Gym [13.424353009036068]
  任意のバックトラックを伴う逐次決定課題としての2次元グリッドパズルにおける空間ジムテストパスフィニング 我々は,500回のエピソードにおいて,8つのモデル(ワンショット,ステップバイステップ,ステップバイステップ,バックトラック)を人間,ランダム,A*ベースラインに対して評価した。
  論文  参考訳（メタデータ） (2026-04-10T14:05:50Z)
• Multi-Turn Reinforcement Learning for Tool-Calling Agents with Iterative Reward Calibration [0.0]
  マルチターンタスクにおける強化学習を伴う訓練ツール呼び出しエージェントは依然として困難である。 本稿では,MT-GRPO と GTPO を用いて,現実的なカスタマーサービスタスクにおけるツールコールエージェントのトレーニングを行う。
  論文  参考訳（メタデータ） (2026-04-03T08:36:03Z)
• Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model [100.86587937568832]
  Ring-1Tは、数兆のパラメータを持つ最初のオープンソースの最先端の思考モデルである。 総パラメータは1兆で、1トークンあたり約500億を活性化する。
  論文  参考訳（メタデータ） (2025-10-21T17:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。