論文の概要: A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation

• arxiv url: http://arxiv.org/abs/2605.15761v1
• Date: Fri, 15 May 2026 09:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.231668
• Title: A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation
• Title（参考訳）: リーダボードの安定性と操作解析のための統一摂動フレームワーク
• Abstract要約: 我々はBradley-Terry のリーダーボードを解析するための一貫した摂動フレームワークを提案する。 私たちのフレームワークは、Drop、Add、Flipという3つのマッチレベルの摂動を研究しています。 現代のリーダーボードは,3つの目標すべてに対して非破壊的であることを示す。
• 参考スコア（独自算出の注目度）: 47.21240079171094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluation leaderboards such as LMArena play a central role in benchmarking large language models by aggregating pairwise human preferences into model rankings, yet the robustness of these rankings remains poorly understood. We present a unified perturbation framework for analyzing Bradley-Terry leaderboards under structured data modifications using influence-based approximations. Our framework studies three match-level perturbations -- Drop, Add, and Flip -- together with player removal, and evaluates their effects on top-k membership, global ranking consistency via Kendall's tau, and confidence-interval-based uncertainty. Across Chatbot Arena and six additional pairwise-comparison datasets, we show that modern leaderboards are non-robust across all three objectives: sub-1% targeted perturbations can change the top-ranked model, degrade Kendall's tau, and alter confidence intervals. Beyond robustness auditing, we show that the same influence scores enable efficient targeted perturbations, promoting or demoting specific models and reducing target-model uncertainty with fewer actions than previous manipulation and active-sampling baselines. By summarizing these effects with normalized dataset-level robustness scores, our framework provides a practical and helpful tool for auditing leaderboard stability and motivating more robust evaluation protocols.
• Abstract（参考訳）: LMArenaのような評価リーダーボードは、ペアワイズ人間の選好をモデルランキングに集約することで、大きな言語モデルのベンチマークにおいて中心的な役割を果たすが、これらのランキングの堅牢性はいまだに理解されていない。 本稿では,Bradley-Terry のリーダボードを,影響に基づく近似を用いた構造化データ修正により解析するための一貫した摂動フレームワークを提案する。 我々のフレームワークは,3つのマッチレベルの摂動 - Drop, Add, Flip – と,プレイヤーの排除,トップkメンバシップ,Kendallのtauによるグローバルランキングの整合性,信頼区間ベースの不確実性を評価する。 Chatbot Arenaと6つの追加のペアワイズ比較データセットを通して、現代のリーダーボードは3つの目標すべてにわたって非破壊的であることを示す。 ロバストネス監査の他に、同じ影響スコアが効率的な目標摂動を可能にし、特定のモデルを推進またはデモし、以前の操作やアクティブサンプリングベースラインよりも少ない動作で目標モデルの不確実性を低減できることを示す。 これらの効果を正規化データセットレベルのロバストネススコアで要約することにより、私たちのフレームワークは、リーダボードの安定性を監査し、よりロバストな評価プロトコルをモチベーションするための実用的で有用なツールを提供します。

関連論文リスト

• The Double Measurement Confound in Agent Benchmarks: De-Scaffolding, Ground-Truth Scoring, and Reliability Beyond the Mean [2.822987192839875]
  エージェントベンチマークは、大規模言語モデル(LLM)の比較やデプロイメント決定のガイドにますます使用されている。 実行クリティカルな決定はモデルの代わりに固定された足場によって行われ、スコアラはタスクの正しさを反映しない基準を用いて出力を評価する。 ベンチマークスコアをモデル能力の証拠として解釈できる場合に特徴付ける測定理論の枠組みでこれらの問題を統一する。
  論文  参考訳（メタデータ） (2026-09-06T21:23:11Z)
• STABLEVAL: Disagreement-Aware and Stable Evaluation of AI Systems [3.263813419432528]
  多数決はアノテータの信頼性と項目レベルの曖昧さを捨て、しばしば不安定な比較をもたらす。 本稿では,不一致を考慮した評価フレームワークSTABLEVALを紹介する。 STABLEVALは、安定かつ不確実性を認識したシステム評価のために設計されている。
  論文  参考訳（メタデータ） (2026-05-04T01:03:48Z)
• Evaluating Uplift Modeling under Structural Biases: Insights into Metric Stability and Model Robustness [8.135022024189306]
  パーソナライズされたマーケティングにおいて、アップリフトモデルは、代替的な治療の下で顧客行動がどのように変化するかをモデル化することによって、漸進的な効果を推定する。 実世界のデータは、選択バイアス、こぼれ効果、未観測の混ざりなど、しばしばバイアスを示す。
  論文  参考訳（メタデータ） (2026-03-21T11:54:25Z)
• RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
  ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。 HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。 我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
  論文  参考訳（メタデータ） (2025-07-12T01:58:04Z)
• JAB: Joint Adversarial Prompting and Belief Augmentation [81.39548637776365]
  我々は,ブラックボックスターゲットモデルの強靭性を,敵対的プロンプトと信念の増大を通じて探索し,改善する共同枠組みを導入する。 このフレームワークは、自動的なレッド・チームリング手法を用いてターゲットモデルを探索し、信念強化器を用いて目標モデルの命令を生成し、敵のプローブに対するロバスト性を向上させる。
  論文  参考訳（メタデータ） (2023-11-16T00:35:54Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• TRUST-LAPSE: An Explainable and Actionable Mistrust Scoring Framework for Model Monitoring [4.262769931159288]
  連続モデル監視のための"ミストラスト"スコアリングフレームワークであるTRUST-LAPSEを提案する。 我々は,各入力サンプルのモデル予測の信頼性を,潜時空間埋め込みのシーケンスを用いて評価する。 AUROCs 84.1 (vision), 73.9 (audio), 77.1 (clinical EEGs)
  論文  参考訳（メタデータ） (2022-07-22T18:32:38Z)
• RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
  ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。 我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。 分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
  論文  参考訳（メタデータ） (2020-10-19T17:06:18Z)
• Offline Contextual Bandits with Overparameterized Models [52.788628474552276]
  オフラインの文脈的盗賊にも同じ現象が起こるかどうかを問う。 この相違は, 目的の強調安定性によるものであることを示す。 大規模なニューラルネットワークを用いた実験では、アクション安定な値ベース目標と不安定なポリシベース目標とのギャップは、大きなパフォーマンス差をもたらす。
  論文  参考訳（メタデータ） (2020-06-27T13:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。