論文の概要: Personalized Language Modeling from Personalized Human Feedback

• arxiv url: http://arxiv.org/abs/2402.05133v3
• Date: Mon, 09 Dec 2024 04:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:51:51.963844
• Title: Personalized Language Modeling from Personalized Human Feedback
• Title（参考訳）: パーソナライズされた人間のフィードバックからのパーソナライズド言語モデリング
• Authors: Xinyu Li, Ruiyang Zhou, Zachary C. Lipton, Liu Leqi,
• Abstract要約: パーソナライズされた大規模言語モデル(LLM)は、個々のユーザの好みに応答するように設計されている。 個人の好みを捉えるために軽量なユーザモデルを利用する効率的なフレームワークであるPersonalized-RLHFを提案する。 P-RLHF を用いて学習したパーソナライズされた LLM は,個々のユーザの好みとより密に一致した応答を生成する。
• 参考スコア（独自算出の注目度）: 45.16986573937782
• License:
• Abstract: Personalized large language models (LLMs) are designed to tailor responses to individual user preferences. While Reinforcement Learning from Human Feedback (RLHF) is a commonly used framework for aligning LLMs with human preferences, vanilla RLHF assumes that all human preferences share the same distribution, preventing fine-tuned LLMs from generating personalized content when user preferences are diverse. In this work, we propose Personalized-RLHF (P-RLHF), an efficient framework that utilizes a lightweight user model to capture individual user preferences and jointly learns the user model and the personalized LLM from human feedback. P-RLHF exhibits the following three characteristics: (1) It enables an LLM to generate personalized content and scale efficiently with growing number of users. (2) It handles both explicit user preferences described as textual input and implicit user preferences encoded in the feedback data. (3) It eliminates the need for users to fully articulate their preferences, which are normally needed for prompting LLMs to generate personalized content yet are often impractical to obtain in real-world scenarios. Our experimental results show that personalized LLMs trained using P-RLHF generate responses that are more closely aligned with individual user preferences, outperforming vanilla, non-personalized RLHF and prompting-based personalization approaches across different tasks. We opensource our code at https://github.com/HumainLab/Personalized_RLHF.
• Abstract（参考訳）: パーソナライズされた大規模言語モデル(LLM)は、個々のユーザの好みに応答するように設計されている。 Reinforcement Learning from Human Feedback (RLHF)は、LLMを人間の好みに合わせるための一般的なフレームワークであるが、Vanilla RLHFは、すべての人間の好みが同じ分布を共有していると仮定する。 本研究では,Personalized-RLHF(P-RLHF)を提案する。Personalized-RLHFは,軽量なユーザモデルを用いて個人の好みを捉え,人間のフィードバックからユーザモデルとパーソナライズされたLSMを共同で学習する。 P-RLHF は,(1) LLM がパーソナライズされたコンテンツを生成し,ユーザ数の増加とともに効率的にスケールできる,という3つの特徴を示す。 2) テキスト入力として記述された明示的なユーザ嗜好と,フィードバックデータにエンコードされた暗黙的なユーザ嗜好の両方を扱う。 (3) LLMがパーソナライズされたコンテンツを生成するのに通常必要だが、現実のシナリオでは入手できない場合が多いため、ユーザが好みを十分に表現する必要がなくなる。 実験の結果,P-RLHFを用いてトレーニングしたパーソナライズ LLM は,個々のユーザの嗜好とより密に一致した応答を生成し,バニラ,非個人化 RLHF ,異なるタスクに対するパーソナライズによるパーソナライズアプローチの促進を図った。 ソースコードはhttps://github.com/HumainLab/Personalized_RLHF.comで公開しています。

関連論文リスト

• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Optimizing Data Delivery: Insights from User Preferences on Visuals, Tables, and Text [59.68239795065175]
  ユーザが質問を提示するユーザスタディを実施し、何を見たいのかを尋ねます。 ユーザの個人的特性が、彼らが好むデータ出力に影響を与えることを確認するために、このデータを使用します。
  論文  参考訳（メタデータ） (2024-11-12T00:24:31Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
  我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。 我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。 私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
  論文  参考訳（メタデータ） (2024-09-30T13:55:42Z)
• LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
  パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。 これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。 そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
  論文  参考訳（メタデータ） (2024-09-18T11:54:45Z)
• Orchestrating LLMs with Different Personalizations [28.344891363780576]
  本稿では,大規模言語モデル(LLM)と個人の嗜好を一致させる新しいアプローチを提案する。 有用性、簡潔性、ユーモアなど、複数の次元に沿って記述された嗜好を踏まえると、ゴールは、この仕様に最もよく準拠する再訓練をせずにLLMを作成することである。 1つの特定の選好次元で訓練された専門的なLSMから始め、各トーケンレベルで出力をマージするブラックボックス法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:55:02Z)
• Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging [148.77027765872006]
  パーソナライズされたヒューマンフィードバック(RLPHF)問題からの強化学習について検討する。 LLMは、多目的強化学習(MORL)問題としてアライメントをモデル化することで、複数の好みに整列する。 我々は、好みを複数の次元に分解することで、パーソナライズされたアライメントを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-17T20:22:13Z)
• Factual and Personalized Recommendations using Language Models and Reinforcement Learning [38.96462170594542]
  我々はP4LM(Compelling, Precise, Personalized, Preference-relevant Language Model)を開発した。 P4LMは、アイテムの特徴とその関連性を説明しながら、ユーザにアイテムを推奨する。 我々は、精度、魅力、パーソナライゼーションを測定する共同報酬関数を開発する。
  論文  参考訳（メタデータ） (2023-10-09T21:58:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。