論文の概要: Where Should the Evaluation Budget Go in LLM-Driven Agent Scaffold Evolution?

• arxiv url: http://arxiv.org/abs/2610.37276v1
• Date: Tue, 27 Oct 2026 14:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.651273
• Title: Where Should the Evaluation Budget Go in LLM-Driven Agent Scaffold Evolution?
• Title（参考訳）: LLM-Driven Agent Scaffold Evolutionにおける評価予算の展開
• Abstract要約: 大規模言語モデル(LLM)によるエージェント足場進化は,反復的候補生成と評価によりエージェントを改良する。 これら2つの役割に対して評価予算を割り当てる方法について検討する。 実験により, スパースフィードバックは生産的進化を維持でき, さらなる目標評価は最終選択を改善することが示された。 本稿では,スパース検索時間フィードバックと最終確認を併用した評価割当フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.1834703468301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM)-driven agent scaffold evolution improves agent workflows through iterative candidate generation and evaluation. Evaluation both guides subsequent search and determines the final scaffold, but evaluating every candidate on the full task set incurs substantial execution costs. We investigate how evaluation budgets can be allocated across these two roles. Our experiments show that sparse feedback can sustain productive evolution, while additional targeted evaluation improves final selection. Replay analyses further show that shared informative items and a common scoring reference support comparisons among closely matched candidates. Motivated by these findings, we propose \method, an evaluation allocation framework that combines sparse search-time feedback with targeted final confirmation. A short fully evaluated warm-up establishes a shared informative core and calibrates a response model whose item parameters remain fixed during search. After search, \method refits the model and applies paired successive halving, reusing accumulated observations and executing only missing evaluations. Across four benchmarks and two evolution frameworks, \method achieves higher mean performance than full evaluation in most settings while using approximately half as many evaluation cells.
• Abstract（参考訳）: 大規模言語モデル(LLM)によるエージェント足場進化は,反復的候補生成と評価を通じてエージェントワークフローを改善する。 両方の評価は、後の探索をガイドし、最終的な足場を決定するが、完全なタスクセット上のすべての候補を評価することは、かなりの実行コストを発生させる。 これら2つの役割に対して評価予算を割り当てる方法について検討する。 実験により, スパースフィードバックは生産的進化を維持でき, さらなる目標評価は最終選択を改善することが示された。 リプレイ分析により, 一致した候補間での共有情報項目と共通得点基準支援の比較が得られた。 そこで本研究では,スパース検索時間フィードバックと最終確認を併用した評価アロケーションフレームワークであるShamethodを提案する。 短時間で完全に評価されたウォームアップは、共有情報コアを確立し、検索中にアイテムパラメータが固定された応答モデルを校正する。 探索後、Shamethodはモデルに適合し、ペア化された連続半減期を適用し、蓄積された観測を再利用し、欠落した評価のみを実行する。 4つのベンチマークと2つの進化フレームワークで、Shamethodは、およそ半分の評価セルを使用しながら、ほとんどの設定において、完全な評価よりも高い平均性能を達成する。

関連論文リスト

• Task-CoEvolve: Efficient Harness Optimization via Adaptive Validation Task Selection [51.39973047614183]
  本稿では,適応型検証タスク選択によるLLMの効率向上のための新しい手法を提案する。 $textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTask-CoEvolve$.textbfTaskは、情報的タスクの選択と、部分的な評価からフルセットのパフォーマンスの推定という2つの課題に対処することで、ハーネスでバリデーションタスクを共進化させる。
  論文  参考訳（メタデータ） (2026-08-20T15:24:54Z)
• SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
  SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。 我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。 我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
  論文  参考訳（メタデータ） (2026-08-07T16:11:46Z)
• Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
  既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。 このプロトコルは2つの基本的な懸念を提起する。 エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
  論文  参考訳（メタデータ） (2026-07-14T00:18:42Z)
• SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
  textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。 SCANには4つの重要なコンポーネントが含まれている。 TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。 RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。 PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
  論文  参考訳（メタデータ） (2025-05-10T16:52:40Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Gradient-Boosted Decision Tree for Listwise Context Model in Multimodal Review Helpfulness Prediction [40.09991896766369]
  マルチモーダルレビュー ヘルプフルネス予測は、予測された有用度スコアに基づいて製品レビューをランク付けすることを目的としている。 本稿ではMRHPランキングの文脈を明確に把握するリストワイズアテンションネットワークを提案する。 また,製品レビューの表現を効果的に分割するスコア予測木として,勾配ブースト決定木を提案する。
  論文  参考訳（メタデータ） (2023-05-22T03:31:00Z)
• SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
  総合的かつ一貫した方法で14の自動評価指標を再評価する。 上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。 我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
  論文  参考訳（メタデータ） (2020-07-24T16:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。