論文の概要: CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution
- arxiv url: http://arxiv.org/abs/2610.10426v1
- Date: Wed, 07 Oct 2026 17:06:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.066166
- Title: CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution
- Title(参考訳): CoTrace: ハーネスモデル共進化によるターミナルエージェントのトレーニングのためのデータレシピ
- Abstract要約: CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。
コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
- 参考スコア(独自算出の注目度): 68.76788820731048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Terminal-agent capability depends jointly on model weights and the runtime harness that formats prompts, binds tools, and handles error recovery. Existing harness-model co-evolution approaches improve both components, yet often treat trajectories produced during harness search as an undifferentiated replay buffer. This practice overlooks that a trajectory's value for model training depends on the harness under which it was generated. To systematically analyze this interface, we establish an alternating co-evolution framework that decouples harness search and policy training through component-wise promotion decisions. Within this framework, we introduce CoTrace, a harness-aware data recipe that explicitly governs trajectory routing, provenance matching, and curriculum refresh. Under CoTrace, recurring execution failures guide harness synthesis, while policy training is strictly conditioned on verified rollouts matched to the adopted runtime for supervised fine-tuning (SFT) or fresh online interactions for reinforcement learning (RL). On the Tmax promotion split, CoTrace advances Qwen3.5-9B from 78 to 88 solved tasks under supervised fine-tuning while an online reinforcement variant reaches 90. Specifically, a compact harness-matched corpus produces steady model gains at substantially lower compute than much larger corpora pooled across sibling harnesses. Furthermore, evaluations on Terminal-Bench 2.1 and SWE-bench Lite show that out-of-distribution transfer depends fundamentally on harness compatibility, where maintaining consistency between training and evaluation runtimes prevents procedural execution breakdowns observed under foreign scaffolds.
- Abstract(参考訳): ターミナルエージェント機能は、モデルウェイトと、プロンプトをフォーマットし、ツールをバインドし、エラー回復を処理するランタイムハーネスに共同で依存する。
既存のハーネスモデル共進化アプローチは両方のコンポーネントを改善するが、ハーネスサーチ時に生成された軌跡を未分化の再生バッファとして扱うことが多い。
このプラクティスは、モデルトレーニングの軌跡の値が生成されたハーネスに依存することを見落としている。
このインターフェースを体系的に解析するために、我々は、コンポーネントワイドの推進決定を通じて探索と政策訓練を分離する交互に共進化するフレームワークを構築した。
このフレームワーク内では、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを明示的に管理するハーネス対応データレシピであるCoTraceを紹介する。
CoTraceでは、繰り返し実行される障害がハーネス合成を誘導する一方、ポリシートレーニングは、教師付き微調整(SFT)や強化学習(RL)のための新しいオンラインインタラクションに適合する検証済みのロールアウトで厳格に条件付けられている。
Tmaxのプロモーション分割では、CoTraceはQwen3.5-9Bを78から88に前進させ、オンライン強化版は90に到達した。
具体的には、コンパクトなハーネス整合コーパスは、兄弟ハーネス間でプールされたより大きなコーパスよりもかなり低い計算で安定したモデルゲインを生成する。
さらに,Terminal-Bench 2.1 と SWE-bench Lite の評価では,アウト・オブ・ディストリビューション・トランスファーは,トレーニングと評価ランタイム間の整合性を維持することで,外部の足場で観察される手続き的実行の破壊を防止する。
関連論文リスト
- HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning [40.61476978001808]
ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。
我々は、ClawGymで6つのハーネスでQwen3.5-2Bを訓練し、PinchBenchとClawEvalで評価する。
論文 参考訳(メタデータ) (2026-09-12T06:22:45Z) - NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。
本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
論文 参考訳(メタデータ) (2026-09-08T03:14:54Z) - Confusion-Geometry Rebalancing for Long-Tailed Adversarial Training [53.3522202888031]
長い尾の分布の下での敵の訓練は二重の不均衡に悩まされ、クラス不均衡はヘッドクラスに対する訓練目標を歪ませる。
そこで本研究では,有向なロバストな誤りを学習信号として活用するプラグインフレームワークである長尾逆行訓練のためのコンフュージョン幾何分散法(CGRm)を提案する。
論文 参考訳(メタデータ) (2026-08-10T14:54:00Z) - Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents [37.91666123749406]
Co-Harnessは、ポストトレーニング中にエージェントハーネスとモデルパラメータを共同で最適化するフレームワークである。
自律的なケーススタディによると、Co-Harnessはシステムのクラッシュから回復し、推論効率を改善し、人間の介入なしにアンサンブル戦略を発見することができる。
論文 参考訳(メタデータ) (2026-07-17T02:39:57Z) - Recursive Harness Self-Improvement [28.432258880153125]
モデル-ハーネス共進化の下では、ハーネスはデータ生成コンポーネントであり、実行トレースは将来の基礎モデルを形成することができる。
本稿では,エージェントループのプロンプトレベル仕様としてハーネスを表現したRecursive Harness Self-Improvement (RHI)を紹介する。
RHIは、自身のリビジョン履歴に対してペアのフィードバックを使って、反復的にそれを洗練します。
論文 参考訳(メタデータ) (2026-07-17T00:21:19Z) - Learning to Throw: Agile and Accurate Cable-Suspended Payload Delivery with a Quadrotor [17.676294984292433]
クアドロレータは、時間クリティカルなアプリケーション中にサスペンションペイロードを高速に輸送するために必要なアジリティを提供する。
最先端のアプローチは一般的にモデルベースの軌道最適化と追跡に依存している。
複素ロープおよびペイロード相互作用のための物理解法と高忠実度解析的四元子モデルとを結合したハイブリッドシミュレーションフレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-25T23:30:52Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳(メタデータ) (2026-02-03T15:32:09Z) - DeCoRL: Decoupling Reasoning Chains via Parallel Sub-Step Generation and Cascaded Reinforcement for Interpretable and Scalable RLHF [11.39724102247425]
DeCoRL(Decoupled Reasoning Chains via Coordinated Reinforcement Learning)は、シーケンシャルな処理から協調的なモジュールオーケストレーションへと推論を変換する新しいフレームワークである。
DeCoRLは軽量な特殊モデルを訓練して推論サブステップを同時に生成し、並列処理によるシーケンシャルなボトルネックを排除している。
包括的評価は、RM-Bench、RMB、RewardBenchにまたがる最先端の結果を示し、大規模モデルを含む既存の手法よりも優れている。
論文 参考訳(メタデータ) (2025-11-11T07:52:39Z) - Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである
我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
論文 参考訳(メタデータ) (2025-06-17T17:12:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。