Fugu-MT 論文翻訳(概要): ParEvalLayer: When Partial LLM-Agent Evaluations Support a Decision

論文の概要: ParEvalLayer: When Partial LLM-Agent Evaluations Support a Decision

arxiv url: http://arxiv.org/abs/2608.02444v1
Date: Mon, 03 Aug 2026 16:22:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-04 15:07:25.703957
Title: ParEvalLayer: When Partial LLM-Agent Evaluations Support a Decision
Title（参考訳）: ParEvalLayer: 部分的なLCM-Agent評価が意思決定をサポートするとき
Abstract要約: LLMエージェントの評価は、ベンチマークの実行が完了するずっと前にタスク結果を生成することが多い。部分的なスコアは報告を誘惑するが、観察されたタスクが完了した評価と同じ結論を支持するかどうかは示さない。本稿では,2つのエージェントシステムのペア化結果を読み取る決定層であるParEvalLayerと,事前に選択した比較ポリシを紹介する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLM-agent evaluations often produce task outcomes long before the full benchmark run is complete. A partial score is tempting to report, but it does not show whether the observed tasks support the same conclusion as the completed evaluation. Early tasks can omit important parts of a benchmark, running cheaper tasks first can distort the observed sample, and a rule that decides only easy pairs can appear accurate while leaving many comparisons unresolved. We introduce ParEvalLayer, a decision layer that reads paired outcomes for two agent systems and a comparison policy chosen in advance. For each partial run, it records whether the tested agent system is better by the required amount, is not better by that amount, needs more evidence, or should abstain. We evaluate ParEvalLayer by replaying completed public benchmark data as if each evaluation had stopped earlier. At each point, ParEvalLayer applies the policy using only the outcomes observed so far; if it reaches one of the two comparison judgments, we check whether that judgment matches the completed data for the same system pair. With the main comparison rule, three of the public benchmarks reach the same decision as the completed evaluation after observing only 15% to 25% of task outcomes. Other benchmarks require more task outcomes. This variation shows why a partial score alone is not enough: reports should also state the decision rule and how many comparisons remain without a decision.
Abstract（参考訳）: LLMエージェントの評価は、ベンチマークの実行が完了するずっと前にタスク結果を生成することが多い。部分的なスコアは報告を誘惑するが、観察されたタスクが完了した評価と同じ結論を支持するかどうかは示さない。初期のタスクはベンチマークの重要な部分を省略し、より安価なタスクを最初に実行すると、観察されたサンプルを歪ませることができ、簡単なペアだけを決定するルールは、多くの比較を未解決のままに、正確に見える。本稿では,2つのエージェントシステムのペア化結果を読み取る決定層であるParEvalLayerと,事前に選択した比較ポリシを紹介する。各部分的な実行では、テストされたエージェントシステムが必要な量より優れているか、その量より優れているか、より多くの証拠が必要か、あるいは停止すべきかを記録します。そこで我々は,ParEvalLayerの評価を行った。それぞれの点において、ParEvalLayerは、これまで観察された結果のみを用いてポリシーを適用し、二つの比較判断のうちの1つに到達すると、その判定が同じシステムペアの完了データと一致するかどうかを確認する。主要な比較ルールでは、3つの公開ベンチマークは、タスク結果の15%から25%しか見つからず、完了した評価と同じ決定に達する。他のベンチマークでは、より多くのタスク結果が必要になります。このバリエーションは、部分的なスコアだけでは不十分な理由を示している。

関連論文リスト

Evaluating Multiple LLM Generations with Validated Task Coverage [12.15293959091918]
有限候補集合の評価のための5領域ベンチマークであるVTC-Benchを紹介する。 VTCは、$k$の試行で何つの異なる有用な結果が得られるかを測定する。複数のモデルと推論設定にまたがって、ベンチマークは従来の評価とは異なる結論をもたらす。
論文参考訳（メタデータ） (2026-08-25T08:32:37Z)
When Is an Agent Evaluation Over? Outcome Finality and Cross-Unit Separation [0.0]
現在のエージェントは、停止した実行の最後に見える状態のスコアモデルを評価し、試行錯誤とみなす。最終的な結果としてスコアを解釈するには、エンドポイントが必ずしも確立しない2つの条件が必要である。最終的なラベルは、請求結果がまだ変更可能なものが解決、境界づけられ、不確実性として保持されている場合にのみ正当化される、と私たちは主張する。
論文参考訳（メタデータ） (2026-08-14T23:39:47Z)
How Many Tasks Are Enough for Agent Benchmark Decisions? A Replay Analysis of Public LLM Agent Benchmarks [0.0]
タスク分数だけでは、部分的な実行が完了したベンチマークと同じペアの結論をサポートするかどうかは示さない。本研究では,SWE-bench,AppWorld,tau-benchの公開タスクレベルレコードを再生することで,この問題を考察する。
論文参考訳（メタデータ） (2026-07-14T04:36:41Z)
PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文参考訳（メタデータ） (2026-07-02T10:59:03Z)
Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。既存のベンチマークに対して、結果エビデンスレポート層を導入します。
論文参考訳（メタデータ） (2026-05-11T12:20:15Z)
VLM Judges Can Rank but Cannot Score: Task-Dependent Uncertainty in Multimodal Evaluation [4.694504497452662]
視覚言語モデル(VLM)は、マルチモーダルシステムの自動判断器としてますます使われているが、そのスコアは信頼性を示すものではない。本研究では,判断者の得点を校正した予測区間に変換する分布自由フレームワークである共形予測を用いて,この問題を考察する。本稿では,VLM-as-a-Judgeのコンフォメーション予測を3つの審査員と14の視覚的タスクカテゴリで初めて体系的に解析した。
論文参考訳（メタデータ） (2026-04-28T05:30:18Z)
Active Evaluation of General Agents: Problem Definition and Comparison of Baseline Algorithms [18.53965204068826]
複数のタスクにまたがるエージェントの能動的評価のための形式的定義と概念的枠組みを提案する。各イテレーションで、ランキングアルゴリズムはタスクとエージェントを選択し、スコアをサンプリングする。古典的エロ格付けシステムは,実際のランキング誤差を効率よく低減するための一貫した信頼性の高い選択であることがわかった。
論文参考訳（メタデータ） (2026-01-12T15:32:11Z)
TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文参考訳（メタデータ） (2025-09-25T13:04:29Z)
SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
論文参考訳（メタデータ） (2024-11-14T17:53:35Z)
Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
論文参考訳（メタデータ） (2024-08-30T15:39:34Z)
LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文参考訳（メタデータ） (2023-05-23T21:50:06Z)
Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
論文参考訳（メタデータ） (2020-03-16T00:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。