論文の概要: Learning Heterogeneous Preferences

• arxiv url: http://arxiv.org/abs/2609.17847v1
• Date: Tue, 15 Sep 2026 21:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.54668
• Title: Learning Heterogeneous Preferences
• Title（参考訳）: 不均一な選好を学習する
• Abstract要約: 主観的嗜好学習の問題について検討する。 個人と意思決定コンテキストの両方で条件付き実用機能を実現する。
• 参考スコア（独自算出の注目度）: 1.4312249948928448
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Learning from human feedback has become a central paradigm for training modern AI systems, where models of human utility are used as reward models in policy learning. Existing methods typically assume a \emph{universal utility} function shared across a population and treat disagreement between annotators as stochastic variation. While suitable for objective tasks, this assumption breaks down in subjective domains where preferences vary systematically across individuals. We study the problem of subjective preference learning, in which observed choices arise from heterogeneous but internally consistent utility functions. Drawing upon rational choice theory, RCT \parencite{tversky1981framing}, we introduce \emph{individuated utility} functions conditioned on both the individual and their decision context, and propose a novel multi-stage architecture for estimating them from multi-modal data. We evaluate our framework on a newly collected dataset of more than $575{,}000$ pairwise aesthetic judgments from $2{,}398$ participants comparing automotive wheel designs. Our experiments show that individuated utility models substantially outperform universal utility models including foundation model baselines. Our results demonstrate that disagreement reflects meaningful preference heterogeneity rather than annotation noise. More broadly, our findings highlight the importance of collecting annotator attributes and learning individuated utility functions, enabling reward models that explicitly account for whose preferences they represent and faithfully capture human decision diversity.
• Abstract（参考訳）: 人間のフィードバックから学ぶことは、政策学習における報酬モデルとして人間のユーティリティのモデルが使用される現代のAIシステムのトレーニングの中心パラダイムとなっている。 既存の方法は通常、集団間で共有される \emph{universal utility} 関数を仮定し、アノテータ間の不一致を確率的変動として扱う。 客観的なタスクには適しているが、個人の好みが体系的に異なる主観的なドメインでは、この仮定は分解される。 本研究では、不均一だが内部的に一貫したユーティリティ関数から、観察された選択が生じる主観的選好学習の問題について検討する。 合理的選択論, RCT \parencite{tversky 1981framing} に基づいて, 個人と意思決定コンテキストの両方に条件付き \emph{individuated utility} 関数を導入し, それらをマルチモーダルデータから推定するための新しい多段階アーキテクチャを提案する。 我々は,自動車の車輪設計を比較した2,398ドルの被験者から575{,}000$のペアワイド審美判断を新たに収集したデータセットを用いて,我々の枠組みを評価した。 本実験は, 基本モデルベースラインを含む汎用ユーティリティモデルよりも, 相当に優れていることを示す。 以上の結果から,不一致はアノテーションノイズよりも有意な嗜好の不均一性を反映していることが示唆された。 より広範に、アノテータ属性の収集と、個別化されたユーティリティ関数の学習の重要性を強調し、人間の意思決定の多様性を表現し、忠実に捉えた好みを明示的に考慮した報酬モデルを可能にした。

関連論文リスト

• Sparse Mixture-of-Experts Reward Models Learn Interpretable and Specialized Experts for Personalized Preference Modeling [21.9382093355334]
  本稿では、スパースルーティングとエキスパートの多様性を促進するため、スパース・ミックス・オブ・エクササイズ(MoE)報酬モデルを提案する。 MoEは、制御された実世界の実験を通して、解釈可能なルーティングパターンと専門の専門家を学ぶ。 また、テストタイムのパーソナライズも改善され、専門家の体重に対する後適応シフトは、モデルがパーソナライズされた好みにどのように適応するかを分析するための質的なレンズを提供する。
  論文  参考訳（メタデータ） (2026-06-02T23:19:12Z)
• Understanding the Implicit Biases of Design Choices for Time Series Foundation Models [90.894232610821]
  時系列基礎モデル(TSFM)は、時系列予測と関連する時間的タスクのための潜在的に強力で汎用的なツールのクラスである。 彼らの行動はデザインの微妙な帰納的バイアスによって強く形作られています。 モデルやデータの性質によって、これらのバイアスが直感的であるか、非常に直感的であるかを示す。
  論文  参考訳（メタデータ） (2025-10-22T04:42:35Z)
• Capturing Individual Human Preferences with Reward Features [47.43999785878563]
  個人の好みを一般報酬特徴の線形結合として捉えることができることを示す。 このような特徴を学習し、その後、報酬モデルを特定の個人に迅速に適応させる方法を示します。 提案するアーキテクチャを非適応型報酬モデルと適応型報酬モデルと比較し,大規模言語モデルを用いた実験を行った。
  論文  参考訳（メタデータ） (2025-03-21T17:39:33Z)
• Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning [12.742158403867002]
  ヒューマンフィードバックからの強化学習は、基礎モデルを人間の価値観や好みに合わせるための強力なパラダイムである。 現在のRLHF技術は、多様な集団における個人の嗜好の自然に生じる相違を説明できない。 マルチモーダルなRLHF手法のクラスを開発し,多元的アライメントの必要性に対処する。
  論文  参考訳（メタデータ） (2024-08-19T15:18:30Z)
• RLHF from Heterogeneous Feedback via Personalization and Preference Aggregation [24.374185140811115]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムを人間の価値と整合させる効果的な手法である。 本稿では、人間の嗜好に固有の異質性や、フィードバックの提供における潜在的な戦略的行動から、この問題に対処することに焦点を当てる。 本研究では, 個人化に基づく手法と集約に基づく手法の2つの枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-30T23:57:23Z)
• Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
  本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。 また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
  論文  参考訳（メタデータ） (2024-01-11T17:56:59Z)
• Models of human preference for learning reward functions [80.39289349661364]
  そこで我々は,一対の軌跡区間間の人為的嗜好から報酬関数を学習する。 この仮定に欠陥があることに気付き、各セグメントの後悔が示すように、人間の嗜好をモデル化することを提案する。 提案した後悔の選好モデルは、実際の人間の選好をより良く予測し、また、これらの選好から報酬関数を学習し、より人道的な政策へと導く。
  論文  参考訳（メタデータ） (2022-06-05T17:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。