論文の概要: Is Active Persona Inference Necessary for Aligning Small Models to Personal Preferences?

• arxiv url: http://arxiv.org/abs/2505.13257v2
• Date: Mon, 29 Sep 2025 16:23:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 20:10:04.321533
• Title: Is Active Persona Inference Necessary for Aligning Small Models to Personal Preferences?
• Title（参考訳）: 個人選好に小さなモデルを調整するためにはアクティブなペルソナ推論が必要か?
• Authors: Zilu Tang, Afra Feyza Akyürek, Ekin Akyürek, Derry Wijaya,
• Abstract要約: 人気のトレンドは、現在のユーザの会話にプレフィックスを追加して、好みの配布を操ることである。 ほとんどのメソッドは、前の例の選好ペアで個人的な選好を受動的にモデル化する。 モデルが嗜好記述を積極的に推測する利点があるかどうかを問う。 次に、微調整された1-8Bサイズのモデルが、個人の好みを推測し調整する上で、いかに効果的かをテストする。
• 参考スコア（独自算出の注目度）: 16.12440288407791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A prominent issue in aligning language models (LMs) to personalized preferences is underspecification -- the lack of information from users about their preferences. A popular trend of injecting such specification is adding a prefix (e.g. prior relevant conversations) to the current user's conversation to steer preference distribution. Most methods passively model personal preferences with prior example preferences pairs. We ask whether models benefit from actively inferring preference descriptions, and address this question by creating a synthetic personalized alignment dataset based on famous people with known public preferences. We then test how effective finetuned 1-8B size models are at inferring and aligning to personal preferences. Results show that higher-quality active prefixes lead to better generalization, more contextually faithful models, and less systematic biases across different protected attributes. All our results suggest active alignment can lead to a more controllable and efficient path for personalized alignment.
• Abstract（参考訳）: 言語モデル(LM)をパーソナライズされた好みに合わせることの大きな問題は、ユーザの好みに関する情報の欠如である。 このような仕様を注入する一般的な傾向は、例えば、現在のユーザの会話にプレフィックス(例えば、関連する会話)を追加して、好みの分布を操縦することである。 ほとんどのメソッドは、前の例の選好ペアで個人的な選好を受動的にモデル化する。 我々は、モデルが積極的に嗜好記述を推測することの恩恵があるかどうかを問うとともに、この疑問に対処するために、有名な公衆嗜好を持つ人々に基づいて、合成パーソナライズされたアライメントデータセットを作成する。 次に、微調整された1-8Bサイズのモデルが、個人の好みを推測し調整する上で、いかに効果的かをテストする。 その結果、高品質なアクティブ接頭辞はより一般化し、文脈的に忠実なモデルとなり、異なる保護属性に対する体系的バイアスが小さくなることが示された。 すべての結果は、アクティブアライメントが、パーソナライズされたアライメントのためのより制御可能で効率的なパスにつながることを示唆している。

関連論文リスト

• PrefPalette: Personalized Preference Modeling with Latent Attributes [59.58648056175468]
  PrefPaletteは、好みを属性の次元に分解するフレームワークである。 好みの予測を、異なる社会的価値に合わせる。 PrefPaletteは平均予測精度でGPT-4oを46.6%上回っている。
  論文  参考訳（メタデータ） (2025-07-17T21:21:54Z)
• NextQuill: Causal Preference Modeling for Enhancing LLM Personalization [82.15961484963256]
  因果選好モデルに基づく新しいパーソナライズフレームワークであるNextQuillを紹介する。 この洞察に基づいて、NextQuillは2つの補完的なアライメント戦略を導入した。 複数のパーソナライズベンチマークの実験により、NextQuillはパーソナライズ品質を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-06-03T02:08:55Z)
• Persona-judge: Personalized Alignment of Large Language Models via Token-level Self-judgment [21.677859755364334]
  ペルソナ・ジャッジ(Persona-judge)は、トレーニング不要なパーソナライズされたアライメントと、目に見えない好みのアライメントを可能にする、新しい差別的パラダイムである。 Persona-judgeは、パーソナライズされたアライメントに対して、スケーラブルで、計算的に効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-17T05:50:13Z)
• From 1,000,000 Users to Every User: Scaling Up Personalized Preference for User-level Alignment [41.96246165999026]
  大規模言語モデル(LLM)は、伝統的にワンサイズフィットのアプローチによって整列されてきた。 本稿では,LLMのスケーラブルなパーソナライズのための包括的フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T17:41:46Z)
• Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
  拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。 PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。 提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
  論文  参考訳（メタデータ） (2025-01-11T22:38:41Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• PREDICT: Preference Reasoning by Evaluating Decomposed preferences Inferred from Candidate Trajectories [3.0102456679931944]
  提案手法は,選好の精度と適応性を向上する手法である PreDICT を提案する。 我々は、グリッドワールド設定と新しいテキストドメイン環境の2つの異なる環境でPreDICTを評価する。
  論文  参考訳（メタデータ） (2024-10-08T18:16:41Z)
• Unsupervised Human Preference Learning [7.959043497459107]
  大きな言語モデルは印象的な推論能力を示しているが、パーソナライズされたコンテンツを提供するのに苦労している。 文脈内学習やパラメータ効率のよい微調整といった既存の手法は、人間の嗜好の複雑さを捉えるには不十分である。 そこで本研究では,より大規模で事前学習されたモデルを示す自然言語規則を生成するために,小パラメータモデルを選好エージェントとして活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-30T17:51:01Z)
• DegustaBot: Zero-Shot Visual Preference Estimation for Personalized Multi-Object Rearrangement [53.86523017756224]
  本稿では,視覚的嗜好学習のためのアルゴリズムであるDegustaBotを提案する。 我々は、シミュレーション表設定タスクにおいて、自然主義的個人的嗜好の大規模なデータセットを収集する。 私たちのモデルの予測の50%は、少なくとも20%の人々に受け入れられる可能性が高いことが分かりました。
  論文  参考訳（メタデータ） (2024-07-11T21:28:02Z)
• Personalized Language Modeling from Personalized Human Feedback [45.16986573937782]
  パーソナライズされた大規模言語モデル(LLM)は、個々のユーザの好みに応答するように設計されている。 個人の好みを捉えるために軽量なユーザモデルを利用する効率的なフレームワークであるPersonalized-RLHFを提案する。 P-RLHF を用いて学習したパーソナライズされた LLM は,個々のユーザの好みとより密に一致した応答を生成する。
  論文  参考訳（メタデータ） (2024-02-06T04:18:58Z)
• Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging [148.77027765872006]
  パーソナライズされたヒューマンフィードバック(RLPHF)問題からの強化学習について検討する。 LLMは、多目的強化学習(MORL)問題としてアライメントをモデル化することで、複数の好みに整列する。 我々は、好みを複数の次元に分解することで、パーソナライズされたアライメントを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-17T20:22:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。