Fugu-MT 論文翻訳(概要): CoPL: Collaborative Preference Learning for Personalizing LLMs

論文の概要: CoPL: Collaborative Preference Learning for Personalizing LLMs

arxiv url: http://arxiv.org/abs/2503.01658v1
Date: Mon, 03 Mar 2025 15:32:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 18:50:38.074078
Title: CoPL: Collaborative Preference Learning for Personalizing LLMs
Title（参考訳）: CoPL:LLMのパーソナライズのための協調的選好学習
Authors: Youngbin Choi, Seunghyuk Cho, Minjong Lee, MoonJeong Park, Yesong Ko, Jungseul Ok, Dongwoo Kim,
Abstract要約: 本稿では, ユーザの反応関係をモデル化し, 嗜好推定を向上するグラフベースの協調フィルタリングフレームワークを提案する。 CoPLは大きな言語モデル(LLM)を効率よく微調整し、共有とユーザ固有の好みを動的にバランスさせる。 UltraFeedback-Pの実験では、CoPLは既存のパーソナライズされた報酬モデルよりも優れており、共通の好みと議論の的になっている好みの両方を効果的に捉えている。
参考スコア（独自算出の注目度）: 8.158048301024149
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Personalizing large language models (LLMs) is important for aligning outputs with diverse user preferences, yet existing methods struggle with flexibility and generalization. We propose CoPL (Collaborative Preference Learning), a graph-based collaborative filtering framework that models user-response relationships to enhance preference estimation, particularly in sparse annotation settings. By integrating a mixture of LoRA experts, CoPL efficiently fine-tunes LLMs while dynamically balancing shared and user-specific preferences. Additionally, an optimization-free adaptation strategy enables generalization to unseen users without fine-tuning. Experiments on UltraFeedback-P demonstrate that CoPL outperforms existing personalized reward models, effectively capturing both common and controversial preferences, making it a scalable solution for personalized LLM alignment.
Abstract（参考訳）: 大規模言語モデル(LLM)のパーソナライズは、出力を多様なユーザの好みに合わせるために重要であるが、既存のメソッドは柔軟性と一般化に苦慮している。グラフベースの協調フィルタリングフレームワークであるCoPL(Collaborative Preference Learning)を提案する。 LoRAの専門家の混合物を統合することで、CoPLは、共有された好みとユーザ固有の好みを動的にバランスしながら、効率よく微調整LSMを作成できる。さらに、最適化不要な適応戦略により、微調整なしで未確認ユーザを一般化することができる。 UltraFeedback-Pの実験では、CoPLは既存のパーソナライズされた報酬モデルよりも優れており、共通の好みと議論の的になっている好みの両方を効果的に捉え、パーソナライズされたLCMアライメントのためのスケーラブルなソリューションであることを示している。

関連論文リスト

HyPerAlign: Hypotheses-driven Personalized Alignment [24.67727411391369]
大規模言語モデル(LLM)のための仮説駆動型パーソナライズ手法(HyPerAlign)を提案する。検討的なアライメントのために、LLMモデルの有効性は平均して70ドルまで改善される。著者の帰属について、結果は、最先端の選好微調整アプローチに対して、常に高い勝利率(通常90%ドル)を示す。
論文参考訳（メタデータ） (2025-04-29T18:01:46Z)
LoRe: Personalizing LLMs via Low-Rank Reward Modeling [47.12507639759984]
本稿では,低ランク嗜好モデルを利用してユーザ固有の報酬関数を効率的に学習し,一般化する新しいフレームワークを提案する。提案手法を複数の選好データセット上で検証し、未確認ユーザに対して優れた一般化を示し、選好予測タスクの精度を改善した。
論文参考訳（メタデータ） (2025-04-20T01:16:24Z)
Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。 DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
論文参考訳（メタデータ） (2025-03-04T09:53:26Z)
LLMInit: A Free Lunch from Large Language Models for Selective Initialization of Recommendation [34.227734210743904]
協調フィルタリングモデルは、レコメンデーションシステムのためのユーザ-イテムインタラクションをキャプチャする上で、強力なパフォーマンスを示している。 GPTやLLaMAのような大規模言語モデル(LLM)の出現は、レコメンデーションパフォーマンスを向上する新たな可能性を示している。
論文参考訳（メタデータ） (2025-03-03T18:41:59Z)
Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。数発のステアライメントのための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-18T16:14:59Z)
RosePO: Aligning LLM-based Recommenders with Human Values [38.029251417802044]
我々は、パーソナライズされた選好最適化(RosePO)を円滑にするための一般的なフレームワークを提案する。 RosePOは、トレーニング後の段階において、カスタマイズされた人的価値との整合性が向上する。実世界の3つのデータセットの評価は,本手法の有効性を示す。
論文参考訳（メタデータ） (2024-10-16T12:54:34Z)
Hybrid Preference Optimization: Augmenting Direct Preference Optimization with Auxiliary Objectives [0.5120567378386615]
大規模言語モデル(LLM)を協調するハイブリッドアプローチを提案する。 DPO の暗黙的な報酬分解に対する単純な拡張により、任意の補助報酬の集合を最大化するために LLM をチューニングできる。提案手法であるHybrid Preference Optimization (HPO) は,ユーザの好みと補助的な設計目的の両方に効果的に一般化できることを示す。
論文参考訳（メタデータ） (2024-05-28T08:35:48Z)
Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
命令応答対に対して協調的に好みを抽出する新しい軸を提案する。命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
論文参考訳（メタデータ） (2024-03-31T02:05:40Z)
Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文参考訳（メタデータ） (2024-02-12T22:47:57Z)
Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
論文参考訳（メタデータ） (2024-01-21T10:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。