論文の概要: Elicitation or Expansion? Demystifying Gains from Agent Harness Optimization

• arxiv url: http://arxiv.org/abs/2610.27889v1
• Date: Tue, 20 Oct 2026 09:11:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.73598
• Title: Elicitation or Expansion? Demystifying Gains from Agent Harness Optimization
• Title（参考訳）: 省エネ・拡張 : エージェント・ハーネス最適化による利得のデミスティフィケーション
• Abstract要約: 我々は,利得の最適化による効果を研究するために,系統的な分析を行う。 Pass@1の強みは、より大きな試行予算を逆転させ、ハードタスクの欠点を集約することにある。
• 参考スコア（独自算出の注目度）: 16.137183247856765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies in harness optimization have shown substantial performance gains in language model agents without updating model weights. A well-designed harness more effectively leverages the underlying model's capabilities by shaping context, tool use, and execution workflows. However, naïve success rates alone do not fully characterize whether optimized harness yields more reliable success on tasks already within reach (elicitation) or a broader range of solvable tasks (expansion). This distinction is crucial for recursive self-improvement and evolutionary search, as expansion may provide a broader range of successful experiences to push the capability boundaries. Despite the growing significance, this distinction remains underexplored in harness optimization. We conduct a systematic analysis to study the effect of gains from harness optimization. Building on pass@k analyses in the reinforcement learning (RL) literature that compare models before and after RL training, we compare optimized harnesses with their pre-optimization counterparts. Specifically, we assess changes in reachable task coverage, compare harness optimization with model scaling and increased inference-time compute, and examine how gains vary with task difficulty. Across static prediction and dynamic tasks, we find that pass@1 advantages of harness over stronger interventions can reverse at larger attempt budgets and aggregate gains conceal shortfalls on hard tasks, underscoring the need for a fine-grained diagnosis.
• Abstract（参考訳）: 近年, モデル重みを更新することなく, 言語モデルエージェントの性能向上が確認されている。 よく設計されたハーネスは、コンテキスト、ツールの使用、実行ワークフローを形作ることによって、基盤となるモデルの機能をより効果的に活用する。 しかし、ナイーブの成功率だけでは、最適化されたハーネスが既に到達しているタスク(効力)でより信頼性の高い成功をもたらすか、あるいはより広い範囲の解決可能なタスク(拡張)で成功するかは、完全には特徴づけられません。 この区別は再帰的な自己改善と進化的探索にとって重要である。 重要性が増大しているにもかかわらず、この区別はハーネス最適化において過小評価されている。 我々は,利得の最適化による効果を研究するために,系統的な分析を行う。 RLトレーニング前後のモデルと比較する強化学習(RL)文献におけるpass@k分析に基づいて、最適化されたハーネスと事前最適化手法との比較を行う。 具体的には、到達可能なタスクカバレッジの変化を評価し、モデルスケーリングと推論時間計算の増大を比較し、タスクの難易度に応じてゲインがどのように変化するかを検討する。 静的な予測や動的タスク全体にわたって、より強力な介入に対するpass@1の利点は、より大きな試行予算で逆転し、集約されたゲインがハードタスクの欠点を隠蔽し、きめ細かい診断の必要性を暗示している。

関連論文リスト

• ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization [49.998743946324424]
  既存のメソッドは、主にハーネスの更新方法を最適化し、どのトレーニングシナリオがこれらの更新を駆動するフィードバックを生成するかを主に修正する。 ハーネスが進化するにつれて、さらなる最適化に最も有用なシナリオが変更され、トレーニングカリキュラム自体がハーネスに合わせて適応することが示唆される。 自動カリキュラム学習問題として、この欠落次元のハーネス最適化を定式化し、ActiveSaddlerを導入する。
  論文  参考訳（メタデータ） (2026-10-01T01:36:03Z)
• Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents [37.91666123749406]
  Co-Harnessは、ポストトレーニング中にエージェントハーネスとモデルパラメータを共同で最適化するフレームワークである。 自律的なケーススタディによると、Co-Harnessはシステムのクラッシュから回復し、推論効率を改善し、人間の介入なしにアンサンブル戦略を発見することができる。
  論文  参考訳（メタデータ） (2026-07-17T02:39:57Z)
• Recursive Harness Self-Improvement [28.432258880153125]
  モデル-ハーネス共進化の下では、ハーネスはデータ生成コンポーネントであり、実行トレースは将来の基礎モデルを形成することができる。 本稿では,エージェントループのプロンプトレベル仕様としてハーネスを表現したRecursive Harness Self-Improvement (RHI)を紹介する。 RHIは、自身のリビジョン履歴に対してペアのフィードバックを使って、反復的にそれを洗練します。
  論文  参考訳（メタデータ） (2026-07-17T00:21:19Z)
• Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
  本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。 RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。 1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
  論文  参考訳（メタデータ） (2026-06-04T09:26:00Z)
• Towards Stable and Effective Reinforcement Learning for Mixture-of-Experts [113.0656076371565]
  オフ・ポリティクス強化学習(RL)における重要サンプリング重み付けを最適化する新しいルータ認識手法を提案する。 具体的には、ルータロジットによって誘導される再スケーリング戦略を設計し、勾配のばらつきを効果的に低減し、トレーニングのばらつきを軽減する。 実験により, 本手法は収束安定性とMoEモデルの最終的な性能の両方を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-10-27T05:47:48Z)
• Learning to Optimize for Reinforcement Learning [58.01132862590378]
  強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。 エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。 おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
  論文  参考訳（メタデータ） (2023-02-03T00:11:02Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。