論文の概要: Large Language Models Should Learn Personalized Rather Than Aggregated Human Preferences

• arxiv url: http://arxiv.org/abs/2606.07629v1
• Date: Sat, 30 May 2026 18:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.160776
• Title: Large Language Models Should Learn Personalized Rather Than Aggregated Human Preferences
• Title（参考訳）: 大規模言語モデルは人選好ではなく個人化を学習すべきである
• Authors: Cristina Garbacea,
• Abstract要約: その結果,アグリゲーションマスクは嗜好の多様性,個人の価値観,文脈依存に関する重要な情報であることがわかった。 我々は、嗜好意識モデルを開発するための具体的な研究と政策アジェンダで締めくくる。
• 参考スコア（独自算出の注目度）: 2.276729420256043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current approaches to aligning large language models (LLMs) aggregate diverse human preferences into a single reward signal, effectively optimizing for a hypothetical ``average user'' who represents no real person particularly well. This position paper argues that LLMs should learn personalized, individual preferences rather than aggregated ones. We show that aggregation masks critical information about preference diversity, individual values, and contextual dependencies, which is a limitation both theoretically grounded in social choice theory and empirically evident across demographic groups. We analyze the rich structure that human preferences encode, survey technical approaches to personalization, and systematically address counterarguments on scalability, shared standards, and manipulation risk. While personalization introduces genuine safety challenges including filter bubbles, value lock-in, and psychological manipulation, we argue these are manageable through bounded personalization frameworks that preserve universal safety constraints while accommodating legitimate individual variation. We conclude with a concrete research and policy agenda for developing preference-aware models that respect both individual autonomy and collective safety.
• Abstract（参考訳）: 大規模言語モデル(LLMs)を集約する現在のアプローチでは、人間の好みを単一の報酬信号に集約し、現実の人間を特にうまく表現しない仮説的な「平均ユーザ」を効果的に最適化している。 このポジションペーパーでは、LLMは集約されたものよりも個人化された個人の好みを学習すべきだと論じている。 社会選択理論に理論的に根ざした制約であり, 人口集団間で実証的に明らかな, 嗜好の多様性, 個人価値, 文脈依存に関する重要な情報を示す。 我々は、人間の嗜好が符号化するリッチな構造を分析し、パーソナライズへの技術的アプローチを調査し、スケーラビリティ、共有標準、操作リスクに関する問題を体系的に解決する。 パーソナライゼーションは,フィルタバブル,バリューロックイン,心理的操作といった真の安全上の課題を提起する一方で,正当性のある個人変動を伴いながら,普遍的な安全制約を保った境界化されたパーソナライゼーションフレームワークを通じて,これらを管理可能であると論じる。 個人の自律性と集団安全の両方を尊重する嗜好意識モデルを開発するための具体的な研究と政策アジェンダで締めくくる。

関連論文リスト

• Synthetic Interaction Data for Scalable Personalization in Large Language Models [67.31884245564086]
  本稿ではPersonaGymという高忠実な合成データ生成フレームワークを紹介する。 パーソナライゼーションを静的なペルソナ-参照ペアとして扱う以前の作業とは異なり、PersonaGymは動的な選好プロセスをモデル化する。 我々は,高忠実度マルチターンパーソナライズされたインタラクショントラジェクトリの大規模かつ高品質で多様な合成データセットであるPersonaAtlasをリリースする。
  論文  参考訳（メタデータ） (2026-02-12T20:41:22Z)
• Personalized Reasoning: Just-In-Time Personalization and Why LLMs Fail At It [81.50711040539566]
  現在の大規模言語モデル(LLM)開発は、タスク解決と優先順位調整を別の課題として扱う。 静的ベンチマークを対話型パーソナライズタスクに変換する評価手法であるPreFDISCOを紹介する。 我々のフレームワークは、ユーザコンテキストに応じて、同じ質問が異なる推論チェーンを必要とするシナリオを作成します。
  論文  参考訳（メタデータ） (2025-09-30T18:55:28Z)
• A Survey on Personalized Alignment -- The Missing Piece for Large Language Models in Real-World Applications [28.181295575180293]
  大きな言語モデル(LLM)は目覚ましい能力を示しているが、現実のアプリケーションへの移行には限界がある。 本稿では、パーソナライズされたアライメントに関する最初の包括的調査を示す。 本稿では、優先メモリ管理、パーソナライズされた生成、フィードバックに基づくアライメントを含む統合されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-21T10:09:16Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• MaxMin-RLHF: Alignment with Diverse Human Preferences [101.57443597426374]
  Reinforcement Learning from Human Feedback (RLHF) は、言語モデルと人間の嗜好を一致させる。 予測最大化アルゴリズムを用いて嗜好分布の混合を学習し、人間の嗜好をよりよく表現する。 従来のRLHFアルゴリズムよりも16%以上の勝利率向上を実現している。
  論文  参考訳（メタデータ） (2024-02-14T03:56:27Z)
• Personalisation within bounds: A risk taxonomy and policy framework for the alignment of large language models with personalised feedback [11.895749982167375]
  大規模言語モデル(LLM)は、幅広いタスクのコンテンツを生成するために使用され、今後数年でより多くの聴衆にリーチするように設定されている。 これにより、モデルが人間の好みと一致し、安全でない、不正確な、有害なアウトプットを発生させないことを保証する必要性が強まる。 マイクロレベルの嗜好学習プロセスを通じてLLMをパーソナライズすると、各ユーザとの整合性が良くなるモデルが得られる。
  論文  参考訳（メタデータ） (2023-03-09T17:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。