論文の概要: Towards Direct Evaluation of Harness Optimizers via Priority Ranking

• arxiv url: http://arxiv.org/abs/2605.22505v1
• Date: Thu, 21 May 2026 13:55:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.578622
• Title: Towards Direct Evaluation of Harness Optimizers via Priority Ranking
• Title（参考訳）: 優先ランク付けによる高調度最適化の直接評価に向けて
• Abstract要約: ハーネス最適化がエージェントの情報更新アクションによって駆動されるのか、単にトライ・アンド・エラーであるのかは不明だ。 ハーネスを直接評価するのは簡単ではなく、オラクルハーネスが不足しているためコストがかかる。 評価を行うための簡易で低コストな設計、すなわち優先順位付けを提示する。
• 参考スコア（独自算出の注目度）: 18.644878456671886
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Harness optimization enables automated agent creation by having an optimizer agent iteratively update the harness of target agents. Despite its success, current studies evaluate optimizers solely by observing target agents' performance gains. This indirect end-improvement evaluation neglects optimizers' actions at intermediate steps, which are often erroneous and hinder agent performance. Therefore, it is unclear whether harness optimization is driven by optimizers' informed update actions or simply trial-and-error. This necessitates direct evaluation of harness optimizers. However, evaluating harness optimizers directly is non-trivial and costly due to the lack of oracle harnesses. To address this, we present a simple, low-cost design to directly evaluate them, namely priority ranking. By asking harness optimizers to rank components (e.g., tools) in a given harness by their potential to improve/hinder agent performance when updated, our design quantifies optimizer ability at the step level without expensive rollouts or manual examination. More importantly, optimizers' ranking performance correlates with their ability to improve agents in actual multi-step harness optimization, establishing priority ranking as a reliable predictor of optimization ability. Priority ranking is enabled by Shor, a collection of 182 human-verified optimization scenarios spanning across domains, designs, and time stages. Codes and data can be found at https://github.com/k59118/Harness_Optimizer_Evaluation.
• Abstract（参考訳）: ハーネス最適化は、最適化エージェントを目標エージェントのハーネスを反復的に更新することにより、自動エージェント作成を可能にする。 その成功にもかかわらず、近年の研究では、ターゲットエージェントのパフォーマンス向上を観察することによって、オプティマイザの評価を行っている。 この間接的な端改善評価は、しばしば誤ってエージェントのパフォーマンスを阻害する中間ステップでのオプティマイザの動作を無視する。 したがって、最適化手法がオプティマイザのインフォメーション更新アクションによって駆動されるのか、単にトライ・アンド・エラーであるのかは不明である。 これは、ハーネスオプティマイザの直接評価を必要とする。 しかし、オプティマイザを直接評価するのは簡単ではなく、オラクルハーネスが不足しているためコストがかかる。 この問題に対処するために、我々はそれらを直接評価するためのシンプルで低コストな設計、すなわち優先順位付けを提案する。 アップデート時にエージェントのパフォーマンスを向上/改善する可能性によって、Helmオプティマイザに与えられたハーネス内のコンポーネント(例えばツール)のランク付けを依頼することで、当社の設計は、高価なロールアウトや手作業による検査なしに、ステップレベルでのオプティマイザ能力を定量化する。 さらに重要なことは、オプティマイザのランク付け性能は、実際のマルチステップハーネス最適化においてエージェントを改善する能力と相関し、信頼性の高い最適化能力の予測器として優先順位付けを確立することである。 Shorは、ドメイン、設計、時間ステージにまたがる182の人間認証最適化シナリオのコレクションである。 コードとデータはhttps://github.com/k59118/Harness_Optimizer_Evaluationで確認できる。

関連論文リスト

• COBRA-Skills: Contextual Bandit-Guided Evolution for Agent Skill Optimization [55.60171725587438]
  大規模言語モデル(LLM)エージェントは、以前のタスク経験から抽出した再利用可能なスキルの恩恵を受けることができる。 既存のスキル最適化手法は、コストのかかる実行ベースの評価と実質的なタスクデータに依存していることが多い。 動的に進化する候補空間上での予算付き逐次最適化としてスキル最適化を定式化する効率的なフレームワークである textbfCOBRA-Skills を導入する。
  論文  参考訳（メタデータ） (2026-09-10T15:12:24Z)
• CORAL: An LLM-Native Harness for Production Recommender Systems [26.7379632070749]
  本稿では,エージェントループによる制約-dレコメンダ(Constraint-d Recommender)について,その決定の計測結果から学習するエージェントループを提案する。 我々はこれを、ポリシーが文脈で改善する、部分的に観察された、非定常的、制約付き最適化問題として定式化する。 A/B実験により評価された2つの大規模ソーシャルプラットフォームにおいて、同じハーネスは、追加のサービスコストなしでエンゲージメントを改善し、一方のエンゲージメントを低下させることなくサービスコストを低減する。
  論文  参考訳（メタデータ） (2026-09-02T15:40:36Z)
• HarnessOpt-Bench: Evaluating LLMs at Harness Optimization [3.846854817984248]
  高価な評価体制下でのエンド・ツー・エンドのハーネス最適化のためのベンチマークを導入する。 信頼された実行環境は、評価境界、ターゲットエージェントリソースの使用を強制し、監査のための候補バージョンを保存する。 実験結果から、モデルはコードハーネスよりも分離され、ネイティブハーネスは一貫して優れておらず、タスク間で利得が大きく異なることがわかった。
  論文  参考訳（メタデータ） (2026-08-06T17:21:05Z)
• Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
  エージェント最適化法で報告されているほとんどの利得はワンショットである。 これは、デプロイされたエージェントにとって重要な設定をテストするものではない。 エージェントハーネス最適化に対する3つのアプローチを比較する。
  論文  参考訳（メタデータ） (2026-07-15T16:36:04Z)
• Evolving Agents in the Dark: Retrospective Harness Optimization via Self-Preference [51.55077364626896]
  本稿では,過去の軌道のみを用いたエージェント・ハーネスを最適化する自己教師型手法であるRetrospective Harness Optimization (RHO)を紹介する。 RHOは、過去の軌跡から様々な課題のコアセットを選択し、それらを並列に解決する。 1回の最適化ラウンドでは、SWE-Bench Proのパスレートが59%から78%に向上する。
  論文  参考訳（メタデータ） (2026-06-04T09:26:00Z)
• Escher-Loop: Mutual Evolution by Closed-Loop Self-Referential Optimization [7.89766538351877]
  Escher-Loopは2つの異なる集団の進化を運用するフレームワークである。 Escher-Loopは静的なベースラインの性能天井を効果的に越え、絶対的な最高性能を達成する。 特筆すべきは、エージェントがハイパフォーマンスなタスクエージェントの要求に合うように戦略を動的に適応させることである。
  論文  参考訳（メタデータ） (2026-04-25T23:46:08Z)
• Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
  本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。 評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T16:04:03Z)
• Understanding Likelihood Over-optimisation in Direct Alignment Algorithms [20.043560907227018]
  ダイレクトアライメントアルゴリズム(DAA)は、ヒューマンフィードバックによるオンライン強化学習の代替として登場した。 これらのアルゴリズムは、より良い(好ましくない)完了を生成する可能性を高めつつ、悪い(好ましくない)完了を阻止することを目的としている。 本研究は,最先端DAAにおける完成可能性とモデル性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-15T15:14:22Z)
• Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation [46.61909578101735]
  AdvPO(Adversarial Policy Optimization)は、人間からの強化学習における報酬過度最適化の問題に対する新しい解決策である。 本稿では,報酬モデルの最後の層埋め込みにのみ依存して,報酬の不確実性を定量化する軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:20:12Z)
• Lower-Left Partial AUC: An Effective and Efficient Optimization Metric for Recommendation [52.45394284415614]
  我々は,AUCのように計算効率が良く,Top-Kランキングの指標と強く相関する新しい最適化指標であるLLPAUCを提案する。 LLPAUCはローワーレフト角のROC曲線の下の部分領域のみを考慮し、最適化はトップKに焦点をあてる。
  論文  参考訳（メタデータ） (2024-02-29T13:58:33Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• DeepHive: A multi-agent reinforcement learning approach for automated discovery of swarm-based optimization policies [0.0]
  Swarm内の各エージェントの状態は、設計空間内の現在の位置と関数値として定義される。 提案手法は,様々なベンチマーク最適化関数を用いて検証し,他のグローバル最適化手法との比較を行った。
  論文  参考訳（メタデータ） (2023-03-29T18:08:08Z)
• Regret-Aware Black-Box Optimization with Natural Gradients, Trust-Regions and Entropy Control [17.430247457941284]
  CMA-ESのような最も成功したブラックボックスは、新しい検索分布を得るために個々のサンプルのランキングを使用する。 これらのアルゴリズムは、通常、検索分布の質の高い平均推定値を生成するが、これらのアルゴリズムは後悔を知らないため、生成したサンプルは品質が劣る可能性がある。 対照的に、Relative Entropy Search (MORE)アルゴリズムは、ランキングを使わずに、期待されるフィットネス機能を直接最適化する。
  論文  参考訳（メタデータ） (2022-05-24T16:25:15Z)
• Training Learned Optimizers with Randomly Initialized Learned Optimizers [49.67678615506608]
  ランダムに学習した人の集団は、オンラインの方法でゼロから学習することができる。 人口ベーストレーニングの形式は、この自己学習の組織化に使用される。 このタイプのフィードバックループは、機械学習の将来において重要かつ強力なものになると思います。
  論文  参考訳（メタデータ） (2021-01-14T19:07:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。