論文の概要: Robust AI Evaluation through Maximal Lotteries

• arxiv url: http://arxiv.org/abs/2602.21297v1
• Date: Tue, 24 Feb 2026 19:01:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.574881
• Title: Robust AI Evaluation through Maximal Lotteries
• Title（参考訳）: 最大ロテリによるロバストAI評価
• Abstract要約: 最大抽選は、特定のタスクやユーザサブポピュレーションで著しく過小評価されるモデルに好適であることを示す。 選好データにおいて、最短ケース性能を最適化するロバストな宝くじを導入する。 ランキングから複数の勝者の集合に移行することで、ロバストな宝くじは、補完的なAIシステムのエコシステムへの原則的なステップを提供する。
• 参考スコア（独自算出の注目度）: 21.79691527817422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The standard way to evaluate language models on subjective tasks is through pairwise comparisons: an annotator chooses the "better" of two responses to a prompt. Leaderboards aggregate these comparisons into a single Bradley-Terry (BT) ranking, forcing heterogeneous preferences into a total order and violating basic social-choice desiderata. In contrast, social choice theory provides an alternative approach called maximal lotteries, which aggregates pairwise preferences without imposing any assumptions on their structure. However, we show that maximal lotteries are highly sensitive to preference heterogeneity and can favor models that severely underperform on specific tasks or user subpopulations. We introduce robust lotteries that optimize worst-case performance under plausible shifts in the preference data. On large-scale preference datasets, robust lotteries provide more reliable win rate guarantees across the annotator distribution and recover a stable set of top-performing models. By moving from rankings to pluralistic sets of winners, robust lotteries offer a principled step toward an ecosystem of complementary AI systems that serve the full spectrum of human preferences.
• Abstract（参考訳）: 主観的タスクにおける言語モデルを評価する標準的な方法は、ペアワイズ比較によって、アノテータはプロンプトに対する2つの応答の"ベタ"を選択する。 リーダーボードはこれらの比較を1つのBradley-Terry(BT)ランキングにまとめ、不均一な選好を全体順序に強制し、基本的な社会的選択を侵害する。 対照的に、社会的選択論は極大宝くじと呼ばれる別のアプローチを提供しており、これは、その構造に仮定を課すことなく、ペアの選好を集約するものである。 しかし,最大抽選は嗜好の不均一性に非常に敏感であり,特定のタスクやユーザサブポピュレーションに大きく劣るモデルが好まれることを示す。 選好データにおいて、最短ケース性能を最適化するロバストな宝くじを導入する。 大規模な選好データセットでは、ロバストな宝くじはアノテータ分布全体にわたってより信頼性の高い利率保証を提供し、安定したトップパフォーマンスモデルの集合を復元する。 ランキングから複数の勝者の集合に移行することで、堅牢な宝くじは、人間の嗜好の完全なスペクトルを提供する補完的なAIシステムのエコシステムへの原則的なステップを提供する。

関連論文リスト

• Preference Data Selection for Mitigating the Alignment Tax in Large Language Models [52.18310687523229]
  BALIGNは、アライメント効率を最適化しながら破滅的な忘れを緩和するバランスのとれたデータ選択戦略である。 3つの重要なデータ中心の機能を統一された複合リスクスコアに集約することにより、BALIGNは、ハイリスクな選好サンプルを体系的にフィルタリングする。 標準的な人間の嗜好データセットの実験では、BALIGNはアライメントゲインを損なうことなく基礎的能力を強く保持している。
  論文  参考訳（メタデータ） (2026-08-25T07:58:42Z)
• Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
  我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。 次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。 大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
  論文  参考訳（メタデータ） (2026-06-20T07:52:46Z)
• Smooth Partial Lotteries for Stable Randomized Selection [61.86327960322782]
  多くの組織では、評価スコアに基づいて選択をランダム化する部分的な宝くじを採用している。 既存の抽選デザインは本質的に不安定であり、単一の候補のスコアへの小さな変更は、選択確率の大きな変化を引き起こす可能性がある。 部分的な宝くじの設計原理として滑らかさを提案し、候補に対するレビュースコアから選択確率へのマッピングにおいて、リプシッツ条件として定式化する。
  論文  参考訳（メタデータ） (2026-05-19T16:22:51Z)
• Variance-aware Reward Modeling with Anchor Guidance [10.561814492691534]
  非識別性を解決するフレームワークとして,アンカー誘導型分散認識リワードモデリングを提案する。 シミュレーション研究と4つの実世界の発散予測データセットを通して,提案手法は報酬モデリング性能を継続的に改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:46:26Z)
• Adaptive Pluralistic Alignment: A pipeline for dynamic artificial democracy [2.653040099621359]
  適応多言語アライメント(Adaptive Pluralistic Alignment, APA)は、複数のAIシステムを更新して、進化する値を追跡するモジュールパイプラインである。 APAは、低ランク報酬ベース分解によるコンパクトなパーソナライズされた報酬モデルを学習し、(2)社会的選択理論による投票を通じて、候補者の成果の中から総合的に選択する陪審員として使用し、(3)固定報酬ベースに新しいアノテータ重みを付加して、陪審員を時間とともに効率的に適応させる。
  論文  参考訳（メタデータ） (2026-05-02T23:22:23Z)
• Robust Preference Alignment via Directional Neighborhood Consensus [13.313830197011983]
  本稿では,指向性近傍のコンセンサスを利用したポストホックなトレーニングフリー手法であるRobust Preference Selection(RPS)を紹介する。 RPSは、関連する好みの地域からの複数の応答をサンプリングし、優れた候補プールを作成する。 本研究は, 嗜好整合モデルの信頼性を高めるための, 実用的, 理論的に基礎的なソリューションを提案する。
  論文  参考訳（メタデータ） (2025-10-23T12:39:20Z)
• Direct Preference Optimization with Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences [14.686788596611246]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値の整合の中心となっている。 最近の選択肢であるDPO(Direct Preference Optimization)は、好みを直接最適化することでパイプラインを単純化している。 生成モデルアライメントにおける多様なユーザに対する公平性とパーソナライズのための理論的かつアルゴリズム的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-17T15:00:40Z)
• Beyond RLHF and NLHF: Population-Proportional Alignment under an Axiomatic Framework [7.065259679465175]
  評価対象者の嗜好の真の人口分布に比例して、集合的な意見や政策を整合できる新しい嗜好学習フレームワークを開発する。 本研究では,コンドルチェット受賞者の選抜と人口・地域間の整合性を円滑にトレードオフするソフトマックス緩和法を提案する。
  論文  参考訳（メタデータ） (2025-06-05T22:15:07Z)
• Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
  RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。 RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。 本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:33:11Z)
• In-context Ranking Preference Optimization [65.5489745857577]
  In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。 IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
  論文  参考訳（メタデータ） (2025-04-21T23:06:12Z)
• Calibrated Multi-Preference Optimization for Aligning Diffusion Models [90.15024547673785]
  Calibrated Preference Optimization (CaPO) は、テキスト・ツー・イメージ(T2I)拡散モデルを調整する新しい手法である。 CaPOは、人間の注釈のない複数の報酬モデルからの一般的な好みを取り入れている。 実験結果から, CaPOは従来法よりも常に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-02-04T18:59:23Z)
• Jackpot! Alignment as a Maximal Lottery [13.984371386519424]
  本稿では,RLHFの代替として,Emphmaximal lotteriesと呼ばれる確率的社会選択規則を提案する。 そこで本研究では,Nash Learning from Human Feedback (NLHF) citemunos2023nash および variants というアライメント手法のファミリーが,最大抽選結果に近似して有益な特性を継承することを示した。
  論文  参考訳（メタデータ） (2025-01-31T16:26:28Z)
• Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts [17.243429150450886]
  応答集合全体の最適化のために,$textbfMulti-Preference Optimization (MPO)を提案する。 MPOは偏差に基づく重み付けを採用しており、平均的な報酬から最も逸脱する外れ値の応答を強調している。 理論的には、MPOはクエリ毎のレスポンス数に対して$mathcalOleft(frac1sqrtnright)$でアライメントバイアスを低減する。
  論文  参考訳（メタデータ） (2024-12-05T21:50:22Z)
• Beyond the Binary: Capturing Diverse Preferences With Reward Regularization [15.518838657050173]
  この二項選択への依存は、現実のタスクにおいて対象ユーザのより広範囲で集約的な嗜好を捉えるものではない、と我々は主張する。 本稿では、既存の二分選好データセットを合成選好判断で拡張し、潜在的なユーザ不一致を推定する、シンプルで効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-12-05T02:35:46Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• Beyond Bradley-Terry Models: A General Preference Model for Language Model Alignment [51.14207112118503]
  我々は、優先順位を効率的に捉えるために、応答を潜在空間に埋め込むアプローチである選好埋め込みを導入する。 また、人間からのフィードバックから報酬に基づく強化学習を一般化する嗜好スコアに基づく一般選好最適化(GPO)を提案する。 提案手法は,基礎モデルの微妙な人的価値との整合性を高めることができる。
  論文  参考訳（メタデータ） (2024-10-03T04:22:55Z)
• Not All Preference Pairs Are Created Equal: A Recipe for Annotation-Efficient Iterative Preference Learning [81.69044784288005]
  反復的な選好学習には、オンラインの注釈付き選好ラベルが必要である。 コスト効率のよいアノテーションに対する応答対を選択するための戦略について検討する。
  論文  参考訳（メタデータ） (2024-06-25T06:49:16Z)
• Direct Preference Optimization With Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences [14.686788596611246]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の価値の整合の中心となっている。 最近の選択肢であるDPO(Direct Preference Optimization)は、好みを直接最適化することでパイプラインを単純化している。 生成モデルアライメントにおける多様なユーザに対する公平性とパーソナライズのための理論的かつアルゴリズム的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T21:25:20Z)
• SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback [50.13745601531148]
  提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。 具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。 また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
  論文  参考訳（メタデータ） (2020-02-23T06:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。