論文の概要: VACE: Validation-Gated Alternating Co-Evolution of Agent Models and Harnesses

• arxiv url: http://arxiv.org/abs/2609.37105v1
• Date: Tue, 29 Sep 2026 09:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.377352
• Title: VACE: Validation-Gated Alternating Co-Evolution of Agent Models and Harnesses
• Title（参考訳）: VACE: エージェントモデルとハーネスの代替的共進化検証
• Abstract要約: VACEは、エージェント強化学習と軌道駆動型ハーネスリファインメントを交互に行う。 Qwen3.5-9Bでは、VACEはOfficeQAで45.26%のテスト精度を獲得し、AutomanceBenchでは75.19%だった。
• 参考スコア（独自算出の注目度）: 24.370177608082543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model agents can be improved by updating their model weights or refining the harness that guides task execution. These components are coupled: weight updates change how the model uses the harness, while harness updates change the trajectories used for training. We propose VACE, Validation-Gated Alternating CoEvolution, which alternates agentic reinforcement learning with trajectory-driven harness refinement. After each RL stage, VACE reuses the collected trajectories to propose a harness revision and evaluates the incumbent and candidate with the updated model held fixed. The candidate guides subsequent training only if it improves validation performance. With Qwen3.5-9B, VACE achieves 45.26% test accuracy on OfficeQA and a mean partial-credit score of 75.19% on AutomationBench, exceeding weight-only RL by 6.43 and 9.09 percentage points and ungated alternation by 4.59 and 6.95 points, respectively. Across 44 harness proposals, 17 reduce validation performance at the updated checkpoint and are rejected before subsequent RL training, highlighting the importance of validation gating.
• Abstract（参考訳）: 言語モデルエージェントは、モデルの重みを更新したり、タスクの実行をガイドするハーネスを改良することで改善できる。 重み更新はモデルがハーネスを使用する方法を変える一方で、ハーネス更新はトレーニングに使用する軌跡を変更する。 VACE, Validation-Gated Alternating CoEvolutionを提案する。 各RL段階の後、VACEは収集した軌道を再利用し、ハーネス修正を提案し、更新されたモデルで既存の候補と候補を評価する。 候補は、バリデーション性能を改善する場合にのみ、その後のトレーニングをガイドする。 Qwen3.5-9Bでは、VACEはOfficeQAで45.26%、AutomanceBenchで75.19%、ウェイトオンリーのRLが6.43、9.09のパーセンテージが9.09、変更が4.59、および6.95ポイントである。 44のハーネス提案のうち17は、更新されたチェックポイントでの検証性能を低下させ、その後のRLトレーニングの前に拒否され、バリデーションゲーティングの重要性を強調している。

関連論文リスト

• Harness Learning Enables Generalizable Test-Time Adaptation [75.12882372844764]
  本稿では,提案手法を学習し,提案手法を学習し,提案手法を改良するハーネス学習を提案する。 我々は、改良されたハーネスのタスクパフォーマンスを報奨として、強化学習で提案者を訓練する。 推論とマルチホップ質問応答の実験は、学習の活用によってリビジョン品質が向上し、テストタイムで適応する能力が見当たらないタスクに適応することを示した。
  論文  参考訳（メタデータ） (2026-09-28T17:52:54Z)
• Automatic Harness Evolution for Hardware Design Verification: Can LLMs Consolidate Gains Across Discovered Harnesses? [0.5371337604556311]
  固定対象モデルの周辺における自動ハーネスの進化を,12の独自設計検証根本位置化タスクを用いて検討した。 タスク毎の5回の試行で、自動的に進化したハーネスは、完了した試行を71-76%増加させ、非ヒットなタスクカバレッジを80-100%増加させた。 CVDPのクロスベンチマークケーススタディでは、自動的に進化した定義幅の修理ハーネスが142タスクの基準ベースラインよりも35.6%機能的なパスを生成した。
  論文  参考訳（メタデータ） (2026-09-24T01:41:01Z)
• AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces [61.51487329124135]
  AutoSaddlerは、オフラインの学習問題として改善を活用するフレームワークである。 ミニバッチからの障害信号を使用して、ハーネスを反復的に更新する。 GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 の実験により, AutoSaddler はエージェント性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-08-24T09:45:08Z)
• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds [43.5891705224868]
  自己進化型スキルシステムは、基礎となるモデルを変更することなく、実行フィードバックを永続的なスキル更新に変換することでエージェントを改善することを約束する。 5つのベンチマークと3つのモデルで制御された評価フレームワークを提案する。 全体として、永続的なスキルの自己進化は、モデル依存リターンとベンチマーク依存リターンを備えたスパース、バリデーションフィルタリング検索として理解されている。
  論文  参考訳（メタデータ） (2026-07-31T04:02:51Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
  本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。 RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。 1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
  論文  参考訳（メタデータ） (2026-06-04T09:26:00Z)
• Rule-Based Error Detection and Correction to Operationalize Movement Trajectory Classification [1.1830117464821333]
  動作軌跡プラットフォームに組み込むためのモデルの誤り訂正と検出を行う,ニューロシンボリックなルールベースのフレームワークを提供する。 最大0.984の誤差を予測するためのF1スコア、分布外精度の大幅な向上(ゼロショット精度のSOTAよりも8.51%向上)、SOTAモデルよりも精度の向上を示す。
  論文  参考訳（メタデータ） (2023-08-28T01:57:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。