論文の概要: Multi-User Dueling Bandits: A Fair Approach using Nash Social Welfare

• arxiv url: http://arxiv.org/abs/2605.01961v1
• Date: Sun, 03 May 2026 16:47:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.018465
• Title: Multi-User Dueling Bandits: A Fair Approach using Nash Social Welfare
• Title（参考訳）: マルチユーザデュエルバンド:ナッシュ社会福祉を用いた公正なアプローチ
• Authors: Maheed H. Ahmed, Mahsa Ghasemi,
• Abstract要約: 我々は、嗜好データからオンライン学習の標準フレームワークであるデュエルバンディットの公平性を考察する。 我々は、ユーザユーティリティの生産性を最大化する、確立されたナッシュ社会福祉の目標を採用する。 本稿では,Fair-Explore-Then-Commit and Fair-$-Greedy algorithm with a Condorcet winner Identification phaseを示す。
• 参考スコア（独自算出の注目度）: 6.353413440036643
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from human preference data is becoming a useful tool, from fine-tuning large language models to training reinforcement learning agents. However, in most scenarios, the model is trained on the average preference of all human evaluators, which, under large variations of preferences, can be unfair to minority groups. In this work, we consider fairness in dueling bandits, a standard framework for online learning from preference data. We assume that each user has a (potentially distinct) Condorcet winner, which is an arm preferred to every other arm. Using these user-specific Condorcet winners as reference points, we evaluate and score arms according to their performance relative to the corresponding winner. To promote fairness across heterogeneous users, we adopt the well-established Nash Social Welfare objective, which maximizes the product of user utilities, thereby inherently penalizing inequality and preventing the marginalization of any single user. Within this framework, we construct a hard instance to establish a regret lower bound of $Ω(T^{2/3}\min(K,D)^\frac{1}{3})$ for a time horizon $T$, $K$ arms, and $D$ users, which, to the best of our knowledge, is the first result quantifying the cost of fairness in dueling bandits with heterogeneous preferences. We then present the Fair-Explore-Then-Commit and Fair-$ε$-Greedy algorithms with a Condorcet winner identification phase. We further derive their regret upper bounds that match the lower-bound dependence on $T$ up to logarithmic factors.
• Abstract（参考訳）: 人間の嗜好データから学ぶことは、大規模言語モデルの微調整から強化学習エージェントの訓練まで、有用なツールになりつつある。 しかし、ほとんどのシナリオでは、モデルがすべての人間評価者の平均的な嗜好に基づいて訓練される。 本研究では,嗜好データからオンライン学習の標準フレームワークであるデュエルバンドの公平性を考察する。 我々は、各ユーザーが(潜在的に異なる)コンドルチェットの勝者を持っていると仮定する。 ユーザ固有のコンドルチェット勝者を基準点として,各勝者に対する評価と評価を行う。 不均一なユーザ間の公平性を促進するために、ユーザユーティリティの生産性を最大化し、本質的に不平等を罰し、単一ユーザの限界化を防ぎ、確立されたナッシュ社会福祉の目標を採用する。 このフレームワーク内では、時間的地平線に対して Ω(T^{2/3}\min(K,D)^\frac{1}{3})$, $T$, $K$ arms, and $D$ users という後悔の低い境界を確立するためにハード・インスタンスを構築します。 次に、コンドルセットの勝者識別フェーズを持つFair-Explore-Then-CommitとFair-$ε$-Greedyアルゴリズムを示す。 さらに, 対数的因子への$T$に対する下界依存性に一致する, 後悔の上限を導出する。

関連論文リスト

• The Sampling Complexity of Condorcet Winner Identification in Dueling Bandits [6.244816393907942]
  本研究では,コンドルチェットの勝者が存在するという前提の下で,デュエルバンディットのベストアーム識別について検討する。 完全ギャップ行列 $_i,j=q_i,j-tfrac12$ を利用する新しい識別手順を導入する。 我々は、高確率、インスタンス依存のサンプル複雑度を導出し、(対数的要因を除いて)最もよく知られたものを改善することを保証します。
  論文  参考訳（メタデータ） (2026-03-16T12:27:14Z)
• Combinatorial Allocation Bandits with Nonlinear Arm Utility [37.64693919880475]
  本稿では,「腕の満足度」という概念を取り入れた,新たなオンライン学習問題である Combinatorial Allocation Bandits (CAB)を提案する。 従来の作業とは異なり、学習者の目的は、肯定的なフィードバックの数を最大化するのではなく、腕の満足度を最大化することである。 提案手法は, 特殊ケースの既設下界に近似した, ほぼ遺残上界を実現する上信頼度有界アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2026-03-07T02:57:27Z)
• Neural Dueling Bandits: Preference-Based Optimization with Human Feedback [58.90189511247936]
  ニューラルネットワークを用いて、予め選択した腕の好みフィードバックを用いて報酬関数を推定する。 また、理論的結果を文脈的包括的問題に拡張し、二元的フィードバックは、それ自体は非自明な貢献である。
  論文  参考訳（メタデータ） (2024-07-24T09:23:22Z)
• Robust Reinforcement Learning from Corrupted Human Feedback [86.17030012828003]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の嗜好データを調整するための原則化されたフレームワークを提供する。 我々はRLHFのロバストなアプローチ-$R3M$を提案し、これは、潜在的に破損した選好ラベルをスパースアウトリーとしてモデル化する。 大規模言語モデル(LLM)を用いたロボット制御と自然言語生成の実験により、R3M$は、好みデータに対する様々な摂動に対する報酬の堅牢性を向上することを示した。
  論文  参考訳（メタデータ） (2024-06-21T18:06:30Z)
• Preferences Evolve And So Should Your Bandits: Bandits with Evolving States for Online Platforms [12.368291979686122]
  本稿では,決定論的に進化し,観測不能な状態を考慮しながら,帯域幅フィードバックによる学習モデルを提案する。 我々のモデルにおけるワークホースの応用は、レコメンデーションシステムのための学習とオンライン広告のための学習である。
  論文  参考訳（メタデータ） (2023-07-21T15:43:32Z)
• Coordinated Attacks against Contextual Bandits: Fundamental Limits and Defense Mechanisms [75.17357040707347]
  オンラインレコメンデーションシステムによってモチベーションされた我々は,文脈的包帯における最適政策の発見問題を提案する。 目標は、優れたユーザに対する報酬を可能な限り少ないユーザインタラクションで最大化するポリシーを、しっかりと学習することだ。 効率的なロバストな平均推定器を用いることで、$tildeO(min(S,A)cdot alpha/epsilon2)$ upper-boundを実現できることを示す。
  論文  参考訳（メタデータ） (2022-01-30T01:45:13Z)
• Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
  フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。 ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。 分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
  論文  参考訳（メタデータ） (2021-11-10T22:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。