論文の概要: Who Should We Listen to More? Welfare-Aware Preference Acquisition for Pluralistic Alignment

• arxiv url: http://arxiv.org/abs/2610.19035v1
• Date: Tue, 13 Oct 2026 18:27:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.744558
• Title: Who Should We Listen to More? Welfare-Aware Preference Acquisition for Pluralistic Alignment
• Title（参考訳）: 誰がもっと聞くべきか : 多元的アライメントのための福祉的選好獲得
• Abstract要約: 本研究では,多元的アライメントのためのトレーニングデータを構築するために,人間で人間のフィードバックを割り当てる方法について検討する。 ラベル品質を測定する個別監督ユーティリティに対する社会福祉目標を定義した。 6つのロールプレイコレクションと4つのオピニオンQAリージョンの実験では、監視と制御可能なアロケーショントレードオフが改善された。
• 参考スコア（独自算出の注目度）: 49.327278657534926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pluralistic alignment needs to accommodate diverse preferences under limited human feedback. Using AI simulators to label preference comparisons reduces annotation costs, but variation in simulation accuracy across individuals can leave some people's preferences poorly represented in training. We study how to allocate human feedback across people to construct training data for pluralistic alignment, and how this allocation affects the trained policy. To make this allocation explicit and controllable, we define a social welfare objective over individual supervision utilities that measure label quality. Each query's marginal welfare gain depends on its expected supervision improvement, the recipient's current utility, and application-designated priority. Welfare-Aware Preference Acquisition (WAPA) uses auxiliary reference models to estimate query gains and individual utilities, then selects queries by estimated marginal welfare gain while updating recipient utilities. We prove exact optimality of the acquisition algorithm for the estimated welfare objective under a fixed query budget and model predictions. Experiments on six Roleplay collections and four OpinionQA regions demonstrate improved supervision and controllable allocation tradeoffs. Policy training on four Roleplay collections improves preference prediction for both seen and unseen individuals. When prioritizing a designated group and poorly represented individuals, acquiring human labels for 20% of comparisons recovers 75-86% of the average predictive utility gap between policies trained entirely on AI-generated labels and entirely on ground-truth labels.
• Abstract（参考訳）: 多元的アライメントは、限られた人間のフィードバックの下で様々な好みに適合する必要がある。 嗜好比較にAIシミュレータを使用すると、アノテーションのコストが削減されるが、個人ごとのシミュレーション精度の変化は、トレーニングにおいてあまり表現されない人たちの好みを残す可能性がある。 本研究では、多元的アライメントのためのトレーニングデータを構築するために、人間で人間のフィードバックを割り当てる方法と、このアロケーションがトレーニングされたポリシーにどのように影響するかを検討する。 このアロケーションを明示的かつ制御可能にするために,ラベル品質を測定する個別監督ユーティリティに対する社会福祉目標を定義した。 各クエリの限界福祉の利得は、期待される監督の改善、受信者の現在のユーティリティ、およびアプリケーション指定優先度に依存する。 WAPA(Wealth-Aware Preference Acquisition)は、補助的参照モデルを用いてクエリゲインと個々のユーティリティを推定し、受信したユーティリティを更新しながら、推定余剰福祉ゲインによってクエリを選択する。 固定的なクエリ予算とモデル予測の下で、推定された福祉目標に対する取得アルゴリズムの正確な最適性を証明した。 6つのロールプレイコレクションと4つのオピニオンQAリージョンの実験では、監視と制御可能なアロケーショントレードオフが改善された。 ロールプレイの4つのコレクションに対する政策訓練は、見る人や見えない人の好みの予測を改善する。 指定されたグループと貧弱な個人を優先順位付けすると、比較の20%で人的ラベルを取得すると、AI生成ラベルと完全に基づいたゼロトラストラベルに基づいて訓練されたポリシー間の平均的な予測ユーティリティギャップの75～86%が回復する。

関連論文リスト

• Optimal Design for Active Preference Learning with Biased LLM Judges [11.876583757558139]
  人間の嗜好から学ぶことは、大きな言語モデル(LLM)のアライメントの中心であるが、人間の嗜好アノテーションは高価である。 本研究では,Nuisance-Adjusted Optimal Design (NAOD)を提案する。 NAODは、一致したターゲット情報設計に対するプロキシポリシーの後悔を29.1%削減する。
  論文  参考訳（メタデータ） (2026-09-30T03:17:21Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Judging with Confidence: Calibrating Autoraters to Preference Distributions [56.17041629492863]
  信頼性の高いオートラッターは、対象の個体群によって定義される嗜好の完全な分布をモデル化することを学ぶ必要がある、と我々は主張する。 異なるデータ条件に合わせた2つの学習方法を提案する。 この結果から, 分布マッチング目的の微調整オートレーダは, 目的の好み分布に整合した有言確率予測を導出することがわかった。
  論文  参考訳（メタデータ） (2025-09-30T20:36:41Z)
• Pluralistic Off-policy Evaluation and Alignment [47.35585359400588]
  LLMにおけるオフライン多元的選好評価とアライメントのための最初のフレームワークであるPOPEを提案する。 POPEには、人間の嗜好信号から派生した協調ユーティリティコンポーネントと、エントロピーベースのカバレッジ尺度にインスパイアされた多様性コンポーネントを組み合わせた、統一的な報酬機能が含まれている。 実験の結果,POPEは複数の応答生成を効率よく向上し,下流タスクにおけるモデルの汎用能力を維持できることがわかった。
  論文  参考訳（メタデータ） (2025-09-15T01:57:49Z)
• Pairwise Calibrated Rewards for Pluralistic Alignment [32.82521299417802]
  現在のアライメントパイプラインは、望ましい振る舞いという単一の普遍的な概念を前提としている。 複数の報酬関数にまたがる分布を通して、多様な人間の嗜好を反映することを提案する。 我々は,小さな外乱のないアンサンブルであっても,様々な好み分布を正確に表現できることを証明した。
  論文  参考訳（メタデータ） (2025-05-17T18:38:24Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Fairness, Welfare, and Equity in Personalized Pricing [88.9134799076718]
  顧客特性に基づくパーソナライズ価格における公平性、福祉、株式の配慮の相互作用について検討する。 選択ワクチンの価格補助金と、マイクロクレジットの下流結果に対するパーソナライズされた利率の影響の2つの設定において、パーソナライズされた価格の潜在的利点を示す。
  論文  参考訳（メタデータ） (2020-12-21T01:01:56Z)
• Recovering from Biased Data: Can Fairness Constraints Improve Accuracy? [11.435833538081557]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、バイアスがあるだけでなく、真のデータ分布に最適な精度を持つ分類器を生成する。 公平性に制約されたERMによるこの問題の是正能力について検討する。 また、トレーニングデータの再重み付け、等化オッド、復号化パリティなど、他のリカバリ手法についても検討する。
  論文  参考訳（メタデータ） (2019-12-02T22:00:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。