論文の概要: What Does an LLM-Agent Leaderboard Rank Actually Compare?

• arxiv url: http://arxiv.org/abs/2609.07785v1
• Date: Mon, 07 Sep 2026 17:31:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.492489
• Title: What Does an LLM-Agent Leaderboard Rank Actually Compare?
• Title（参考訳）: LLM-Agentのリーダーボードランキングは、実際何に比較できるのか?
• Abstract要約: LLMエージェントのリーダーボードは、よく知られた推論を招待する。 我々は、リーダーボードがどのスコアを見積もるか、どのようにペアワイズ優位性の結論を正当化するかを調査する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An LLM-agent leaderboard invites a familiar inference: an agent ranked above another is the better agent. Public evaluation logs may not support that conclusion when systems differ in task mixture, label source, release detail, or cost rule. We study what leaderboard scores estimate and when they justify pairwise superiority conclusions. Our estimand-aware pairwise procedure states the comparison target and measurement source, checks common support, and evaluates the supported difference using a stated uncertainty rule and practical margin. Controlled checks evaluate the decision labels under known finite-sample conditions and show why uncertainty must be included when judging sensitivity to target reweighting. Across SWE-bench, AgentRewardBench, and tau2-bench, close rank differences are often unresolved; proxy labels and utility rules can also change which system is selected. DataAgentBench and Open Agent show what remains estimable from coarser public records. A leaderboard score summarizes a released evaluation, whereas a fine-grained superiority claim additionally depends on the estimand and uncertainty rule used to interpret the difference.
• Abstract（参考訳）: LLMエージェントのリーダーボードは、よく知られた推論を招待する。 公開評価ログは、システムがタスクミックス、ラベルソース、リリース詳細、コストルールで異なる場合、その結論をサポートしない可能性がある。 我々は、リーダーボードがどのスコアを見積もるか、どのようにペアワイズ優位性の結論を正当化するかを調査する。 提案手法では, 比較対象と測定源とを比較し, 共通支援を確認し, 既定の不確実性ルールと実用的なマージンを用いて, 支持差を評価する。 制御されたチェックは、既知の有限サンプル条件下で決定ラベルを評価し、ターゲット再重み付けに対する感度を判断する際に不確実性を含む必要があることを示す。 SWE-bench、AgensRewardBench、Tau2-benchの他、密接なランクの違いはしばしば解決されない。 DataAgentBenchとOpen Agentは、大雑把な公開記録から推測できるものを示している。 リーダーボードスコアは、リリースされた評価を要約するが、きめ細かい優越性クレームは、差を解釈するために使用される推定および不確実性ルールにも依存する。

関連論文リスト

• The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
  エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。 実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。 ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
  論文  参考訳（メタデータ） (2026-09-06T21:23:11Z)
• AgentFairBench: Do LLM Agents Discriminate When They Act? [2.3004655342211078]
  AgentFairBenchは、LLMエージェントの動作における人口格差に対する、安価で再現可能なマルチドメインベンチマークである。 これは、雇用、貸与、医療トリアージという、規制対象の3つの領域にまたがっている。 NumPyのみのハーネスは、反ファクト的なフリップ率、平均絶対スコア差(MASD)、アクションレートの相違、ツール起動の相違を計算する。
  論文  参考訳（メタデータ） (2026-06-15T13:50:26Z)
• AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
  AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。 i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
  論文  参考訳（メタデータ） (2026-05-19T22:05:12Z)
• Can Agent Benchmarks Support Their Scores? Evidence-Supported Bounds for Interactive-Agent Evaluation [8.049844623361725]
  インタラクティブエージェントベンチマークは、結果チェックを通じてエージェントの実行をバイナリ結果にマッピングする。 これらのチェックは、表面レベル信号に依存するか、エージェントの実際のアクションパスをキャプチャできない。 既存のベンチマークに対して、結果エビデンスレポート層を導入します。
  論文  参考訳（メタデータ） (2026-05-11T12:20:15Z)
• The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation [17.386684382460242]
  大規模言語モデル(LLM)は、推論、質問応答、創造的記述といったタスクにおけるシステムの出力を評価するために、ますます使われてきている。 6つの判定モデルに対する評価プロンプトに挿入された制御キュー摂動合成メタデータラベルを用いて,この理想を検証した。 情報源,時間,年齢,性別,民族,教育的地位の6つのキュー族を調査する。
  論文  参考訳（メタデータ） (2026-02-08T14:45:23Z)
• Dependence-Aware Label Aggregation for LLM-as-a-Judge via Ising Models [55.94503936470247]
  大規模なAI評価は、審査員を含む、$K$アノテータからのバイナリ判断を集約することにますます依存している。 ほとんどの古典的なメソッドは、アノテータが条件的に独立であると仮定するが、真のラベルは$Yin0,1$であり、この仮定は LLM の審査員によってしばしば違反される。 我々はIsingグラフィカルモデルと潜在因子に基づく依存認識モデルの階層構造を通してラベルアグリゲーションを研究する。
  論文  参考訳（メタデータ） (2026-01-29T21:26:50Z)
• Best Arm Identification with LLM Judges and Limited Human [18.85883540190321]
  固定信頼ベストアーム識別(BAI)について検討する。 本研究では,各アームの平均値と逆正当性重み付け残差を結合した平均値の推定器を開発する。 推定器と信頼性シーケンスに基づいて,アームを適応的に選択し,監査するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-01-29T09:50:34Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Quantifying Query Fairness Under Unawareness [82.33181164973365]
  本稿では,二項分類を超えた複数の機密属性を効果的に処理する定量化に基づく頑健な公正度推定手法を提案する。 提案手法は, 様々な属性にまたがる既存のベースラインよりも優れており, 未知の公正度を測定するための信頼性の高いプロトコルを最初に確立した。
  論文  参考訳（メタデータ） (2025-06-04T16:31:44Z)
• Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
  評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。 本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-20T14:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。