論文の概要: A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation
- arxiv url: http://arxiv.org/abs/2605.15761v1
- Date: Fri, 15 May 2026 09:21:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.231668
- Title: A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation
- Title（参考訳）: リーダボードの安定性と操作解析のための統一摂動フレームワーク
- Authors: Hosna Oyarhoseini, Jimmy Lin, Amir-Hossein Karimi,
- Abstract要約: 我々はBradley-Terry のリーダーボードを解析するための一貫した摂動フレームワークを提案する。
私たちのフレームワークは、Drop、Add、Flipという3つのマッチレベルの摂動を研究しています。
現代のリーダーボードは,3つの目標すべてに対して非破壊的であることを示す。
- 参考スコア（独自算出の注目度）: 47.21240079171094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluation leaderboards such as LMArena play a central role in benchmarking large language models by aggregating pairwise human preferences into model rankings, yet the robustness of these rankings remains poorly understood. We present a unified perturbation framework for analyzing Bradley-Terry leaderboards under structured data modifications using influence-based approximations. Our framework studies three match-level perturbations -- Drop, Add, and Flip -- together with player removal, and evaluates their effects on top-k membership, global ranking consistency via Kendall's tau, and confidence-interval-based uncertainty. Across Chatbot Arena and six additional pairwise-comparison datasets, we show that modern leaderboards are non-robust across all three objectives: sub-1% targeted perturbations can change the top-ranked model, degrade Kendall's tau, and alter confidence intervals. Beyond robustness auditing, we show that the same influence scores enable efficient targeted perturbations, promoting or demoting specific models and reducing target-model uncertainty with fewer actions than previous manipulation and active-sampling baselines. By summarizing these effects with normalized dataset-level robustness scores, our framework provides a practical and helpful tool for auditing leaderboard stability and motivating more robust evaluation protocols.
- Abstract（参考訳）: LMArenaのような評価リーダーボードは、ペアワイズ人間の選好をモデルランキングに集約することで、大きな言語モデルのベンチマークにおいて中心的な役割を果たすが、これらのランキングの堅牢性はいまだに理解されていない。
本稿では,Bradley-Terry のリーダボードを,影響に基づく近似を用いた構造化データ修正により解析するための一貫した摂動フレームワークを提案する。
我々のフレームワークは,3つのマッチレベルの摂動 - Drop, Add, Flip – と,プレイヤーの排除,トップkメンバシップ,Kendallのtauによるグローバルランキングの整合性,信頼区間ベースの不確実性を評価する。
Chatbot Arenaと6つの追加のペアワイズ比較データセットを通して、現代のリーダーボードは3つの目標すべてにわたって非破壊的であることを示す。
ロバストネス監査の他に、同じ影響スコアが効率的な目標摂動を可能にし、特定のモデルを推進またはデモし、以前の操作やアクティブサンプリングベースラインよりも少ない動作で目標モデルの不確実性を低減できることを示す。
これらの効果を正規化データセットレベルのロバストネススコアで要約することにより、私たちのフレームワークは、リーダボードの安定性を監査し、よりロバストな評価プロトコルをモチベーションするための実用的で有用なツールを提供します。
関連論文リスト
- Evaluating Uplift Modeling under Structural Biases: Insights into Metric Stability and Model Robustness [8.135022024189306]
パーソナライズされたマーケティングにおいて、アップリフトモデルは、代替的な治療の下で顧客行動がどのように変化するかをモデル化することによって、漸進的な効果を推定する。
実世界のデータは、選択バイアス、こぼれ効果、未観測の混ざりなど、しばしばバイアスを示す。
論文 参考訳（メタデータ） (2026-03-21T11:54:25Z) - RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。
HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。
我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
論文 参考訳（メタデータ） (2025-07-12T01:58:04Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z) - TRUST-LAPSE: An Explainable and Actionable Mistrust Scoring Framework
for Model Monitoring [4.262769931159288]
連続モデル監視のための"ミストラスト"スコアリングフレームワークであるTRUST-LAPSEを提案する。
我々は,各入力サンプルのモデル予測の信頼性を,潜時空間埋め込みのシーケンスを用いて評価する。
AUROCs 84.1 (vision), 73.9 (audio), 77.1 (clinical EEGs)
論文 参考訳（メタデータ） (2022-07-22T18:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。