論文の概要: PAFO: Pareto Fairness Optimization for Personalized Reward Modeling

• arxiv url: http://arxiv.org/abs/2606.07988v1
• Date: Sat, 06 Jun 2026 05:35:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.603313
• Title: PAFO: Pareto Fairness Optimization for Personalized Reward Modeling
• Title（参考訳）: PAFO:パーソナライズされたリワードモデリングのためのパレートフェアネス最適化
• Authors: Xiaoyan Zhao, Haoting Ni, Yang Zhang, Chunyuan Zheng, Haoxuan Li, Fuli Feng,
• Abstract要約: 大規模言語モデル(LLM)は、出力を多様なユーザの好みに合わせるために報酬モデルに依存している。 パーソナライズされた報酬モデルは、しばしば不均衡なユーザの好みデータに基づいて訓練されるため、トレーニング人口でより一般的なユーザーを好む可能性がある。
• 参考スコア（独自算出の注目度）: 43.95197844656587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly rely on reward models to align their outputs with diverse user preferences. While personalized reward models aim to capture such heterogeneity, they are often trained on imbalanced user preference data and may therefore favor users whose preferences are more common in the training population. In this paper, we identify this failure mode as personalized reward bias, where reward modeling quality varies systematically with preference support rate. We formulate its mitigation as a Pareto fairness problem over group utilities, aiming to improve under-served users without degrading other user groups. To this end, we propose PAFO, a Pareto fairness optimization framework for personalized reward modeling. PAFO first trains group-specialized reward models for majority and minority preference groups, then constructs conditional margin-level supervision to distill their heterogeneous preference boundaries into a single unified model. The resulting model uses group information only during training and requires no explicit group labels at inference time. Experiments on Personal-LLM and DSP show that PAFO improves both minority-group and majority-group accuracy while reducing user-level unfairness across multiple metrics, demonstrating its effectiveness for fairer LLM personalization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、出力を多様なユーザの好みに合わせるために報酬モデルに依存している。 パーソナライズされた報酬モデルは、そのような不均一性を捉えることを目的としているが、不均衡なユーザの嗜好データに基づいて訓練されることも多く、したがって、トレーニング人口でより一般的なユーザーを好む可能性がある。 本稿では、この障害モードをパーソナライズされた報酬バイアスとみなす。 グループユーティリティに対するパレートフェアネス問題として緩和を定式化し、他のユーザグループを劣化させることなく、サービス不足のユーザを改善することを目的としている。 そこで我々は,パーソナライズされた報酬モデリングのためのパレートフェアネス最適化フレームワークPAFOを提案する。 PAFOはまず、多数派と少数派の選好グループを対象としたグループ特化報酬モデルを作成し、その後条件付きマージンレベルの監督を行い、不均一な選好境界を単一の統一モデルに抽出する。 結果として得られたモデルは、トレーニング中にのみグループ情報を使用し、推論時に明示的なグループラベルを必要としない。 パーソナライズLLMとDSPの実験では、PAFOはマイノリティグループとマジョリティグループの両方の精度を改善しつつ、複数の指標におけるユーザレベルの不公平性を低減し、より公平なLCMパーソナライズの有効性を示す。

関連論文リスト

• One Adapts to Any: Meta Reward Modeling for Personalized LLM Alignment [55.86333374784959]
  これらの制約に対処するには、データの適合からユーザの好みを学習し、嗜好適応のプロセスを学ぶためのパラダイムシフトが必要である、と我々は主張する。 メタ学習問題としてパーソナライズされた報酬モデルを変更するメタリワードモデリング(MRM)を提案する。 MRMはパーソナライズを強化し、ユーザの堅牢性を向上し、ベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-01-26T17:55:52Z)
• NextQuill: Causal Preference Modeling for Enhancing LLM Personalization [82.15961484963256]
  因果選好モデルに基づく新しいパーソナライズフレームワークであるNextQuillを紹介する。 この洞察に基づいて、NextQuillは2つの補完的なアライメント戦略を導入した。 複数のパーソナライズベンチマークの実験により、NextQuillはパーソナライズ品質を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-06-03T02:08:55Z)
• LoRe: Personalizing LLMs via Low-Rank Reward Modeling [47.12507639759984]
  本稿では,低ランク嗜好モデルを利用してユーザ固有の報酬関数を効率的に学習し,一般化する新しいフレームワークを提案する。 提案手法を複数の選好データセット上で検証し、未確認ユーザに対して優れた一般化を示し、選好予測タスクの精度を改善した。
  論文  参考訳（メタデータ） (2025-04-20T01:16:24Z)
• Software Engineering Principles for Fairer Systems: Experiments with GroupCART [9.545063195641882]
  GroupCARTはツリーベースのアンサンブルで、モデル構築時のバイアスを回避する。 実験の結果,GroupCARTはデータ変換なしでより公平なモデルを実現することがわかった。 その結果,決定木モデルのアルゴリズムバイアスは,マルチタスク,公平性を考慮した学習によって緩和可能であることが示された。
  論文  参考訳（メタデータ） (2025-04-17T02:06:05Z)
• Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
  拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。 PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。 提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
  論文  参考訳（メタデータ） (2025-01-11T22:38:41Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• PAL: Pluralistic Alignment Framework for Learning from Heterogeneous Preferences [6.398937923320069]
  我々は、既存の事前学習戦略を補完する人間の嗜好をモデル化するフレームワークであるPALを提案する。 PALは,強いベースラインと比較して,競争報酬モデルの精度が向上することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。