論文の概要: Differential Voting: Loss Functions For Axiomatically Diverse Aggregation of Heterogeneous Preferences

• arxiv url: http://arxiv.org/abs/2601.18824v1
• Date: Sun, 25 Jan 2026 03:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:50.992968
• Title: Differential Voting: Loss Functions For Axiomatically Diverse Aggregation of Heterogeneous Preferences
• Title（参考訳）: 異種投票:不均一な選好の軸相多元集合における損失関数
• Authors: Zhiyu An, Duaa Nakshbandi, Wan Du,
• Abstract要約: 人間のフィードバックからの強化学習は投票の一形態として見ることができ、そこではアグリゲーション機構が損失関数によって定義される。 本稿では,古典的な投票規則に有効に対応するように,人口レベルが最適であるような,インスタンスワイドで微分可能な損失関数を構成するフレームワークである差分投票を紹介する。 本分析は, 損失幾何学における設計選択 – マージン感度や境界濃度など – が, 直接的にノルミティブアグリゲーションの挙動にどのように変換されるかを示す。
• 参考スコア（独自算出の注目度）: 6.3240435869587515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning from human feedback (RLHF) implicitly aggregates heterogeneous human preferences into a single utility function, even though the underlying utilities of the participants are in practice diverse. Hence, RLHF can be viewed as a form of voting, where the aggregation mechanism is defined by the loss function. Although Arrow's Impossibility Theorem suggests that different mechanisms satisfy different sets of desirable axioms, most existing methods rely on a single aggregation principle, typically the Bradley-Terry-Luce (BTL) model, which corresponds to Borda count voting. This restricts the axiomatic properties of the learned reward and obscures the normative assumptions embedded in optimization. In this work, we introduce Differential Voting, a unifying framework that constructs instance-wise, differentiable loss functions whose population-level optima provably correspond to distinct classical voting rules. We develop differentiable surrogates for majority-based aggregation (BTL), Copeland, and Kemeny rules, and formally analyze their calibration properties, gradient fields, and limiting behavior as smoothing parameters vanish. For each loss, we establish consistency with the corresponding social choice rule and characterize the axioms it satisfies or violates. Our analysis shows how design choices in loss geometry-such as margin sensitivity and boundary concentration-directly translate into normative aggregation behavior. Differential Voting makes preference aggregation an explicit and controllable design choice in RLHF, enabling principled trade-offs between axiomatic guarantees and optimization stability. Code to reproduce our experiments is open-sourced.
• Abstract（参考訳）: 人間のフィードバックからの強化学習(RLHF)は、実際には多種多様であるにもかかわらず、異質な人間の嗜好を単一のユーティリティ機能に暗黙的に集約する。 したがって、RLHFは投票の一形態と見なすことができ、そこではアグリゲーション機構は損失関数によって定義される。 アローの不合理性定理(英語版)は、異なる機構が異なる望ましい公理の集合を満たすことを示唆するが、既存のほとんどの手法は、ボルダ数投票に対応するブラッドリー・テリー・ルーシ(英語版)(BTL)モデルのような単一の集約原理に依存している。 これは学習した報酬の公理的性質を制限し、最適化に埋め込まれた規範的仮定を曖昧にする。 本研究では,古典的な投票規則に有効に対応するように,集団レベルの最適性が保証される事例的,微分可能な損失関数を構成する統一フレームワークである差分投票を導入する。 本研究では,多数決的アグリゲーション (BTL) , コープランド, ケメニールールの微分可能なサロゲートを開発し, キャリブレーション特性, 勾配場, 制限挙動をスムーズなパラメータとして解析する。 各損失に対して、対応する社会的選択規則と整合性を確立し、満足または違反する公理を特徴づける。 本分析は, 損失幾何学における設計選択 – マージン感度や境界濃度など – が, 直接的にノルミティブアグリゲーションの挙動にどのように変換されるかを示す。 微分投票はRLHFにおいて、選好アグリゲーションを明示的で制御可能な設計選択とし、公理的保証と最適化安定性の原則的なトレードオフを可能にする。 私たちの実験を再現するコードはオープンソースです。

関連論文リスト

• Optimistic Feasible Search for Closed-Loop Fair Threshold Decision-Making [0.0]
  バンディットフィードバックからの1次元しきい値ポリシーのオンライン学習について検討する。 我々は,報酬と制約残差に対する信頼境界を維持する単純なグリッドベース手法であるOptimistic Feasible Search (OFS)を提案する。
  論文  参考訳（メタデータ） (2025-12-26T10:44:40Z)
• On the Theory of Conditional Feature Alignment for Unsupervised Domain-Adaptive Counting [27.44207520673983]
  オブジェクトカウントモデルは、密度の多様性が異なるドメインにデプロイされるときに苦しむ。 条件付き特徴アライメントの理論的枠組みを提案し,簡単な実装を提供する。
  論文  参考訳（メタデータ） (2025-06-20T16:37:48Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Obtaining Explainable Classification Models using Distributionally Robust Optimization [12.511155426574563]
  特徴値規則の集合を用いて構築した一般化線形モデルについて検討する。 ルールセットの間隔と予測精度の間には、固有のトレードオフが存在する。 我々はこれらの競合する要因に同時に対処するルールセットの集合を学習するための新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:45:34Z)
• Post-hoc Bias Scoring Is Optimal For Fair Classification [12.897626117694317]
  バイアススコアと呼ばれる新しいインスタンスレベルのバイアス尺度を導入し、修正規則は有限量のバイアススコアの上に単純な線形ルールである。 DPとEOpの制約の場合、修正規則は1つのバイアススコアをしきい値にし、EOの制約の場合、線形修正規則を2つのパラメータに適合させることが要求される。
  論文  参考訳（メタデータ） (2023-10-09T13:54:08Z)
• Fairness via Adversarial Attribute Neighbourhood Robust Learning [49.93775302674591]
  本稿では,分類ヘッドを損なうために,UnderlineRobust underlineAdversarial underlineAttribute underlineNeighbourhood (RAAN)損失を原則として提案する。
  論文  参考訳（メタデータ） (2022-10-12T23:39:28Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。