論文の概要: Collaborative Personalized Preference Alignment for LLMs under Data Deficiency

• arxiv url: http://arxiv.org/abs/2610.05898v1
• Date: Mon, 05 Oct 2026 07:14:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:26:45.609364
• Title: Collaborative Personalized Preference Alignment for LLMs under Data Deficiency
• Title（参考訳）: データ不足下におけるLLMの協調的パーソナライズされた選好アライメント
• Abstract要約: ライトウェイトな整列器は個人の好みに応じて反応を調整できるが、ユーザー固有のフィードバックが乏しいため、パーソナライズされたトレーニングが困難になる。 この問題に対処するため,textbfApproximate textbfPareto textbfOptimality (APO)を提案する。 Fed-ChatbotPAとUltraFeedbackの実験では、20のローカル例だけで既存のメソッドよりも一貫した改善が見られた。
• 参考スコア（独自算出の注目度）: 8.320410967598466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world users often exhibit highly heterogeneous preferences over multiple objectives for LLM responses. A lightweight aligner can tailor these responses to individual preferences, but scarce user-specific feedback makes personalized training difficult. Learning shared initializations across users can support few-shot adaptation. However, heterogeneous preferences and competing objectives cause gradient conflicts across users and within each user, hindering effective initialization learning. This raises a central question: \textbf{how can we collaboratively learn aligner initializations that support few-shot adaptation to diverse user preferences?} To answer this question, we propose \textbf{A}pproximate \textbf{P}areto \textbf{O}ptimality (APO). We first group users whose updates are compatible, so that their information can be combined with less interference. Within each group, we combine gradient descent with controlled ascent to coordinate competing objectives and move towards preference-specific points on the Pareto front. This produces an initialization that is close to the optima of the users in the group. We then iteratively refine it using updates from few-shot local adaptation, making it more effective for personalization. Furthermore, we establish conditional suboptimality bounds for a one-local-step collaborative update and characterize how initialization error affects subsequent stochastic adaptation. Experiments on Fed-ChatbotPA and UltraFeedback show consistent improvements over existing methods using only 20 local examples.
• Abstract（参考訳）: 現実世界のユーザは、LLM応答の複数の目的に対して非常に異質な好みを示すことが多い。 軽量な調整器は個々の好みに合わせてこれらの応答を調整できるが、ユーザ固有のフィードバックが少ないため、パーソナライズされたトレーニングが困難になる。 ユーザ間で共有初期化を学ぶことは、数ショット適応をサポートすることができる。 しかし、不均一な嗜好や競合する目的は、ユーザと各ユーザの間で勾配の衝突を引き起こし、効果的な初期化学習を妨げる。 これは中心的な疑問を提起する: \textbf{{} 多様なユーザの好みへのわずかな適応をサポートするコーディネータの初期化を協調的に学習するにはどうすればよいのか? この問いに答えるために、我々は \textbf{A}pproximate \textbf{P}areto \textbf{O}ptimality (APO)を提案する。 われわれはまず、アップデートが互換性のあるユーザーをグループ化して、より少ない干渉で情報を組み合わせられるようにした。 各グループ内では、勾配降下と制御された上昇を組み合わせ、競合する目的を調整し、パレートフロントの選好特異点に向かって移動させる。 これにより、グループ内のユーザの最適性に近い初期化が生成される。 そして、数ショットのローカル適応の更新を使って反復的に洗練し、パーソナライズをより効果的にします。 さらに,一段階共同更新のための条件付き準最適境界を確立し,初期化誤差がその後の確率適応にどう影響するかを特徴付ける。 Fed-ChatbotPAとUltraFeedbackの実験では、20のローカル例だけで既存のメソッドよりも一貫した改善が見られた。

関連論文リスト

• Deployable Human Preference Alignment in Robotics: Learning Representative Rewards from Diverse Human Preferences [2.0531872026357383]
  ユーザごとのアライメントアプローチでは、好みのフィードバックは少ないことが多いため、学習は不安定になり、人間の好みのノイズに対して脆弱になる。 ユーザアライメントに対する単一の共有ポリシアプローチは、このコストを回避するが、不均一な選好をキャプチャできず、少数派選好を無視することが多い。 提案するPreference-based Reward Clustering (PREC) は,多様なユーザによって提供される2進選好ラベルから,コンパクトなポリシーセットを学習する新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-07-14T07:50:43Z)
• CoPL: Collaborative Preference Learning for Personalizing LLMs [24.12554324555074]
  本稿では, ユーザの反応関係をモデル化し, 嗜好推定を向上するグラフベースの協調フィルタリングフレームワークを提案する。 CoPLは大きな言語モデル(LLM)を効率よく微調整し、共有とユーザ固有の好みを動的にバランスさせる。 UltraFeedback-Pの実験では、CoPLが既存のパーソナライズされた報酬モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2025-03-03T15:32:02Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。