論文の概要: Whose Boat Does it Float? Improving Personalization in Preference Tuning via Inferred User Personas

• arxiv url: http://arxiv.org/abs/2501.11549v1
• Date: Mon, 20 Jan 2025 15:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:23:12.572397
• Title: Whose Boat Does it Float? Improving Personalization in Preference Tuning via Inferred User Personas
• Title（参考訳）: 誰のボートが浮かぶか? 推定ユーザペルソナによる選好調整におけるパーソナライゼーションの改善
• Authors: Nishant Balepur, Vishakh Padmakumar, Fumeng Yang, Shi Feng, Rachel Rudinger, Jordan Lee Boyd-Graber,
• Abstract要約: ペルソナ推論(Persona Inference, PI)は、アウトプットの選択や拒否を好んだユーザのペルソナを誘導的に推測する。 Persona Tailoring (PT)-training model to tailor response to Persona from PI。 我々は、パーソナライズのための選好の誘惑的な見解を論じ、どの反応が良いかだけでなく、いつ、なぜ、誰が良いのかを問う。
• 参考スコア（独自算出の注目度）: 24.69184389956837
• License:
• Abstract: LLMs are tuned to follow instructions (aligned) by learning which of two outputs users prefer for a prompt. However, this preference data format does not convey why users prefer responses that are chosen or rejected, so LLMs trained on these datasets cannot tailor responses to varied user needs. To surface these parameters of personalization, we apply abductive reasoning to preference data, inferring needs and interests of users, i.e. personas, that may prefer each output. We test this idea in two steps: Persona Inference (PI)-abductively inferring personas of users who prefer chosen or rejected outputs-and Persona Tailoring (PT)-training models to tailor responses to personas from PI. We find: 1) LLMs infer personas accurately explaining why different users may prefer both chosen or rejected outputs; 2) Training on preference data augmented with PI personas via PT boosts personalization, enabling models to support user-written personas; and 3) Rejected response personas form harder personalization evaluations, showing PT better aids users with uncommon preferences versus typical alignment methods. We argue for an abductive view of preferences for personalization, asking not only which response is better but when, why, and for whom.
• Abstract（参考訳）: LLMは、2つのアウトプットのうちどれがプロンプトを好むかを学ぶことによって、指示に従うように調整される。 しかし、この嗜好データ形式は、ユーザが選択または拒否された応答を好む理由を伝えていないため、これらのデータセットでトレーニングされたLCMは、さまざまなユーザニーズに対する応答を調整できない。 パーソナライゼーションのパラメータを明らかにするために、各出力が好まれるユーザのニーズや関心を推測し、嗜好データに誘惑的推論を適用する。 このアイデアを2つのステップで検証する: 人格推論(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格評価(PT)-客格学習(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI)-客格推定(PI 以下に示す。 1) LLMは,何故異なるユーザが選択又は拒否された出力を好むのかを正確に説明するペルソナを推論する。 2) PIペルソナをPTで強化した嗜好データによる学習は、パーソナライズを促進し、モデルがユーザ記述ペルソナをサポートできるようにする。 3) 回答ペルソナの拒絶は, パーソナライズ評価を困難にし, PTは, 一般的なアライメント法に比べて, 好ましくない好みのユーザを支援する。 我々は、パーソナライズのための選好の誘惑的な見解を論じ、どの反応が良いかだけでなく、いつ、なぜ、誰が良いのかを問う。

関連論文リスト

• Optimizing Data Delivery: Insights from User Preferences on Visuals, Tables, and Text [59.68239795065175]
  ユーザが質問を提示するユーザスタディを実施し、何を見たいのかを尋ねます。 ユーザの個人的特性が、彼らが好むデータ出力に影響を与えることを確認するために、このデータを使用します。
  論文  参考訳（メタデータ） (2024-11-12T00:24:31Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
  我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。 我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。 私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
  論文  参考訳（メタデータ） (2024-09-30T13:55:42Z)
• Preference Distillation for Personalized Generative Recommendation [11.27949757550442]
  本稿では,PErson Alized PrOmpt Distillation (PeaPOD)アプローチを提案する。 現実世界におけるユーザの嗜好の複雑さを考えると,ユーザの興味に基づいて動的に重み付けされる学習可能なプロンプトの共有集合を維持している。 実世界の3つのデータセットに対する実験結果から,PiaPODモデルがシーケンシャルレコメンデーション,トップnレコメンデーション,説明生成タスクに与える影響が示された。
  論文  参考訳（メタデータ） (2024-07-06T09:58:58Z)
• Dissecting Human and LLM Preferences [80.55271307662365]
  人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。 GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。 嗜好に基づく評価は意図的に操作可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-17T14:34:31Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Personalized Language Modeling from Personalized Human Feedback [45.16986573937782]
  パーソナライズされた大規模言語モデル(LLM)は、個々のユーザの好みに応答するように設計されている。 個人の好みを捉えるために軽量なユーザモデルを利用する効率的なフレームワークであるPersonalized-RLHFを提案する。 P-RLHF を用いて学習したパーソナライズされた LLM は,個々のユーザの好みとより密に一致した応答を生成する。
  論文  参考訳（メタデータ） (2024-02-06T04:18:58Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• Learning Implicit User Profiles for Personalized Retrieval-Based Chatbot [29.053654530024083]
  IMPChatは、ユーザのパーソナライズされた言語スタイルとパーソナライズされた好みを個別にモデリングすることで、暗黙のユーザプロファイルを学習することを目的としている。 ユーザのパーソナライズされた言語スタイルを学習するために,ユーザの過去の応答を利用して,浅い言語から深い言語モデルを構築する。 回答候補をそれぞれパーソナライズされた言語スタイルとパーソナライズされた好みとでマッチングし、2つのマッチング信号を融合して最終的なランキングスコアを決定する。
  論文  参考訳（メタデータ） (2021-08-18T02:07:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。