論文の概要: Drift: Decoding-time Personalized Alignments with Implicit User Preferences

• arxiv url: http://arxiv.org/abs/2502.14289v2
• Date: Fri, 21 Feb 2025 02:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 12:50:10.920934
• Title: Drift: Decoding-time Personalized Alignments with Implicit User Preferences
• Title（参考訳）: Drift: 暗黙のユーザ嗜好を伴うデコード時パーソナライズドアライメント
• Authors: Minbeom Kim, Kang-il Lee, Seongho Joo, Hwaran Lee, Kyomin Jung,
• Abstract要約: Driftは大きな言語モデル(LLM)を暗黙のユーザー好みでパーソナライズする新しいフレームワークである。 分析の結果,Driftは計算効率が高く,解釈可能であることがわかった。
• 参考スコア（独自算出の注目度）: 22.294705481182472
• License:
• Abstract: Personalized alignments for individual users have been a long-standing goal in large language models (LLMs). We introduce Drift, a novel framework that personalizes LLMs at decoding time with implicit user preferences. Traditional Reinforcement Learning from Human Feedback (RLHF) requires thousands of annotated examples and expensive gradient updates. In contrast, Drift personalizes LLMs in a training-free manner, using only a few dozen examples to steer a frozen model through efficient preference modeling. Our approach models user preferences as a composition of predefined, interpretable attributes and aligns them at decoding time to enable personalized generation. Experiments on both a synthetic persona dataset (Perspective) and a real human-annotated dataset (PRISM) demonstrate that Drift significantly outperforms RLHF baselines while using only 50-100 examples. Our results and analysis show that Drift is both computationally efficient and interpretable.
• Abstract（参考訳）: 個人ユーザー向けのパーソナライズされたアライメントは、大規模言語モデル(LLM)において長年の目標であった。 Driftは、暗黙のユーザー好みで復号時にLLMをパーソナライズする新しいフレームワークである。 従来のReinforcement Learning from Human Feedback (RLHF)では、注釈付きサンプルと高価な勾配更新が数千必要である。 対照的に、DriftはLLMをトレーニング不要な方法でパーソナライズし、数ダースの例を使って、効率的な選好モデリングを通じて凍結モデルを操る。 提案手法は,事前定義された,解釈可能な属性の合成としてユーザの好みをモデル化し,デコード時にそれらを整列させてパーソナライズした生成を可能にする。 合成ペルソナデータセット(Perspective)と実人アノテーションデータセット(PRISM)の両方の実験では、Driftは50-100例のみを使用してRLHFベースラインを大幅に上回っている。 分析の結果,Driftは計算効率が高く,解釈可能であることがわかった。

関連論文リスト

• Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
  拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。 PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。 提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
  論文  参考訳（メタデータ） (2025-01-11T22:38:41Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback [87.37721254914476]
  アノテーションの品質向上のために,人間とLMの入力を組み合わせたルーティングフレームワークを提案する。 我々は、人間とLMアノテーションの任意の組み合わせで報酬モデルの性能を予測するために、性能予測モデルを訓練する。 選択したハイブリッド混合物は,一方のみ使用した場合と比較して,報奨モデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-24T20:04:15Z)
• PAD: Personalized Alignment of LLMs at Decoding-Time [10.347782385286582]
  本稿では,LLM出力を推論フェーズにおいて多様なパーソナライズされた嗜好と整合させる新しいフレームワークを提案する。 パーソナライズド・アライメント・アライメント・アライメント・アライメント・アット・デコーディング・タイム(PAD)フレームワークは、テキスト生成プロセスをパーソナライズされた好みから切り離す。 PADは、既存のトレーニングベースのアライメント手法を、多様な嗜好と整合するという点で上回るだけでなく、トレーニング中に見つからない嗜好に対する顕著な一般化性も示している。
  論文  参考訳（メタデータ） (2024-10-05T08:00:55Z)
• PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
  我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。 我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。 私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
  論文  参考訳（メタデータ） (2024-09-30T13:55:42Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Lusifer: LLM-based User SImulated Feedback Environment for online Recommender systems [0.0]
  本稿では,Lulsiferについて紹介する。LulsiferはLarge Language Models(LLMs)を利用して,シミュレーションされたユーザフィードバックを生成する新しい環境である。 Lusiferはユーザープロファイルとインタラクション履歴を合成し、推奨アイテムに対する反応と振る舞いをシミュレートする。 Lusiferは、RMSE 1.3のトレーニングデータが少なくても、ユーザの振る舞いや好みを正確にエミュレートする。
  論文  参考訳（メタデータ） (2024-05-22T05:43:15Z)
• Personalized Language Modeling from Personalized Human Feedback [45.16986573937782]
  パーソナライズされた大規模言語モデル(LLM)は、個々のユーザの好みに応答するように設計されている。 個人の好みを捉えるために軽量なユーザモデルを利用する効率的なフレームワークであるPersonalized-RLHFを提案する。 P-RLHF を用いて学習したパーソナライズされた LLM は,個々のユーザの好みとより密に一致した応答を生成する。
  論文  参考訳（メタデータ） (2024-02-06T04:18:58Z)
• Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging [148.77027765872006]
  パーソナライズされたヒューマンフィードバック(RLPHF)問題からの強化学習について検討する。 LLMは、多目的強化学習(MORL)問題としてアライメントをモデル化することで、複数の好みに整列する。 我々は、好みを複数の次元に分解することで、パーソナライズされたアライメントを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-17T20:22:13Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。