論文の概要: CHART: A Harness-Rotation Curriculum for Harness-Robust Search Agents
- arxiv url: http://arxiv.org/abs/2609.22247v1
- Date: Sat, 05 Sep 2026 19:12:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.803797
- Title: CHART: A Harness-Rotation Curriculum for Harness-Robust Search Agents
- Title（参考訳）: CHART:Harness-Robust検索エージェントのためのHarness-Rotationカリキュラム
- Abstract要約: 我々は,検索効率と性能の両方を改善するために,並列検索を行うために,探索エージェントを訓練する。
固定ハーネス下でのトレーニングは、そのハーネスの表面形状に過度に適合する行動ハーネスを局所的にする。
本稿では,探索エージェントが徐々に並列検索を統合できる回転カリキュラムであるCurriculum HArness Rotation Training (CHART)を提案する。
- 参考スコア（独自算出の注目度）: 16.641243882855136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Search agents are usually trained under a single harness. But once an agent is deployed in a real application, its harness is frequently updated (e.g., a rewritten system prompt) to fit production needs. This exposes a fragility of post-trained agents: because a learned behavior is entangled with its training harness, even a harness update that leaves the task unchanged can fail to elicit the behavior. We train a search agent to perform parallel search, a popular strategy for improving both search efficiency and performance. We find that training under a fixed harness makes the behavior harness-local, overfit to that harness's surface form: when the harness changes, the model falls back to serial search. An intuitive fix is harness augmentation, but simply training on more harnesses does not resolve the problem. GRPO learns from the reward gap between parallel and serial rollouts of the same question: a small harness pool saturates that gap early, while a large pool dilutes the per-harness signal too thinly for any harness to consolidate. We therefore propose Curriculum HArness Rotation Training (CHART), a rotating curriculum that lets a search agent gradually consolidate parallel search across harnesses. At each periodic evaluation, CHART "graduates" the harnesses whose expected behavior is learned and replaces them with still-learnable ones, keeping the reward gap alive throughout training. Starting from the same harness pool, CHART makes the model learn parallel search on all harnesses, whereas static augmentation succeeds on at most half of them. The behavior also carries to held-out harnesses: CHART parallelizes on 89% of held-out turns, against at most 5% for the static pools. It further transfers to a new QA task and search environment, improving pass@1 by 5.6pp over the best static pool. Finally, CHART-trained agents benefit more from meta-harness search than baselines.
- Abstract（参考訳）: サーチエージェントは通常、単一のハーネスの下で訓練される。
しかし、エージェントが実際のアプリケーションにデプロイされると、そのハーネスは頻繁に更新される(例えば、リライトされたシステムプロンプト)。
学習した振る舞いがトレーニングハーネスと絡み合っているため、タスクを変更せずに残したハーネス更新でさえ、動作を引き出すのに失敗する可能性がある。
我々は,検索効率と性能の両方を改善するために,並列検索を行うために,探索エージェントを訓練する。
固定ハーネスの下でのトレーニングは、そのハーネスの表面形状に過度に適合する行動ハーネスを局所的にし、ハーネスが変化するとモデルがシリアルサーチにフォールバックする。
直感的な修正はハーネスの強化であるが、単にハーネスのトレーニングで問題が解決しないだけである。
GRPOは同じ質問の並列ロールアウトとシリアルロールアウトの報酬ギャップから学習し、小さなハーネスプールはそのギャップを早めに飽和させ、大きなハーネスプールはハーネス信号の薄さを弱め、どのハーネスも統合することができない。
そこで本稿では,探索エージェントが並列検索をハーネス間で徐々に統合する回転カリキュラムであるCurriculum HArness Rotation Training (CHART)を提案する。
それぞれの定期的な評価において、CHARTは期待される振る舞いを学習するハーネスを「卒業生」に置き換え、トレーニングを通じて報酬のギャップを生かし続けます。
同じハーネスプールから始めると、CHARTはモデルをすべてのハーネスで並列検索を学習させる。
CHARTはホールトアウトのターンの89%を並列化し、静的プールの5%は最小限に抑えられる。
さらに新しいQAタスクと検索環境に移行し、最高の静的プール上でpass@1を5.6pp改善する。
最後に、CHARTを訓練したエージェントは、ベースラインよりもメタハーネス検索の恩恵を受ける。
関連論文リスト
- Harness-Zero: Harness Distillation via Agent-as-Harness [25.405498734061165]
Harness-Zeroは、エージェント・アズ・ハーネスによる蒸留を可能にする。
結果として生じる軌道の微調整は、ハーネスによって引き起こされる振る舞いをモデルに内在させる。
論文 参考訳（メタデータ） (2026-09-21T17:55:20Z) - HarnessBandit: Joint Learnability-Transferability Scheduling for Multi-Harness Agentic Reinforcement Learning [40.61476978001808]
ステップ毎に1つのハーネスを選択するオンラインスケジューラであるHarnessBanditを開発した。
我々は、ClawGymで6つのハーネスでQwen3.5-2Bを訓練し、PinchBenchとClawEvalで評価する。
論文 参考訳（メタデータ） (2026-09-12T06:22:45Z) - WHALE: A Simple Recipe for Joint Harness-Weight Optimization [48.550149284101536]
WHALE(Weight-Harness Alternating LEarning)は、2つのフェーズを切り替えるレシピである。
3つの領域にわたるQwen3.5-2B/4Bエージェント(質問応答、数学的推論、チェスパズル)を使用して、WHALEは重量のみ、ハーネスのみ、Fast-Slow Trainingの4.15-24.38ポイントを最高の平均@8の精度で上回る。
論文 参考訳（メタデータ） (2026-08-31T18:12:55Z) - Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis [0.5687154521897483]
エージェント的 "Continual Learning Harnesses" はサイバーセキュリティの価値が増大していることを示している。
しかし、それらの値はラベル付きベンチマークに対する利得によって測定される。
ラベル付きベンチマークを使わずに、エンドツーエンドの学習ハーネスを評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-11T15:51:37Z) - Automated Discovery Has No Universally Superior Harness [63.53666712024897]
我々はOpenEvolveスタイルの進化的探索とTT-Discoverサーチハーネスを構成成分に分解する。
12組のモデルプロブレムペアで30個の予算整合ハーネスを評価した。
論文 参考訳（メタデータ） (2026-07-20T17:59:37Z) - Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。
このプロトコルは2つの基本的な懸念を提起する。
エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
論文 参考訳（メタデータ） (2026-07-14T00:18:42Z) - Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。
RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。
1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
論文 参考訳（メタデータ） (2026-06-04T09:26:00Z) - Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。
まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。
第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
論文 参考訳（メタデータ） (2026-05-28T22:16:14Z) - Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning [8.33682726719781]
インタイムハーネスは複雑な推論タスクにおいて大きな言語モデルを大幅に改善する。
emphOn-Policy Harness Self-Distillation (OPHSD)を紹介する。
OPHSDは、タスク固有のハーネス機能を学生モデルに内包する。
論文 参考訳（メタデータ） (2026-05-09T07:06:37Z) - Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。
オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。
検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
論文 参考訳（メタデータ） (2026-03-30T05:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。