論文の概要: Aligning LLMs by Predicting Preferences from User Writing Samples

• arxiv url: http://arxiv.org/abs/2505.23815v1
• Date: Tue, 27 May 2025 20:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.531172
• Title: Aligning LLMs by Predicting Preferences from User Writing Samples
• Title（参考訳）: ユーザ記述サンプルからの優先度予測によるLCMの調整
• Authors: Stéphane Aroca-Ouellette, Natalie Mackraz, Barry-John Theobald, Katherine Metcalf,
• Abstract要約: 本稿では,ユーザ記述サンプルから推定される好み記述の精度を高める手法であるPROSEを紹介する。 ProSEはより正確に人間の嗜好を推測し,CIPHERよりも33%向上した。
• 参考スコア（独自算出の注目度）: 2.357769830358414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accommodating human preferences is essential for creating aligned LLM agents that deliver personalized and effective interactions. Recent work has shown the potential for LLMs acting as writing agents to infer a description of user preferences. Agent alignment then comes from conditioning on the inferred preference description. However, existing methods often produce generic preference descriptions that fail to capture the unique and individualized nature of human preferences. This paper introduces PROSE, a method designed to enhance the precision of preference descriptions inferred from user writing samples. PROSE incorporates two key elements: (1) iterative refinement of inferred preferences, and (2) verification of inferred preferences across multiple user writing samples. We evaluate PROSE with several LLMs (i.e., Qwen2.5 7B and 72B Instruct, GPT-mini, and GPT-4o) on a summarization and an email writing task. We find that PROSE more accurately infers nuanced human preferences, improving the quality of the writing agent's generations over CIPHER (a state-of-the-art method for inferring preferences) by 33\%. Lastly, we demonstrate that ICL and PROSE are complementary methods, and combining them provides up to a 9\% improvement over ICL alone.
• Abstract（参考訳）: 人選好の調整は、パーソナライズされた効果的なインタラクションを提供する協調LLMエージェントを作成するために不可欠である。 最近の研究は、LCMが書き込みエージェントとして機能し、ユーザの好みを推測する可能性を示している。 エージェントアライメントは、推論された好み記述の条件付けから生じる。 しかし、既存の手法は、人間の嗜好の独特で個人化された性質を捉えるのに失敗する一般的な嗜好記述を生成することが多い。 本稿では,ユーザ記述サンプルから推定される好み記述の精度を高める手法であるPROSEを紹介する。 PROSEは,(1)推論された嗜好の反復的洗練,(2)複数のユーザ記述サンプル間での推論された嗜好の検証という2つの重要な要素を取り入れている。 要約および電子メール作成タスクにおいて,複数のPLM(Qwen2.5 7B, 72B命令, GPT-mini, GPT-4o)を用いてPROSEを評価した。 ProSEはより正確に人間の嗜好を推測し、CIPHER(好みを推測する最先端の手法)を33%向上させる。 最後に ICL と PROSE が相補的手法であることを示し,それらを組み合わせることで ICL 単独よりも最大 9 % 改善できることを示した。

関連論文リスト

• ULMRec: User-centric Large Language Model for Sequential Recommendation [16.494996929730927]
  ユーザがカスタマイズした好みを大規模言語モデルに統合するフレームワークであるULMRecを提案する。 2つの公開データセットに対する大規模な実験は、ULMRecが既存の手法を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-12-07T05:37:00Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• PREDICT: Preference Reasoning by Evaluating Decomposed preferences Inferred from Candidate Trajectories [3.0102456679931944]
  提案手法は,選好の精度と適応性を向上する手法である PreDICT を提案する。 我々は、グリッドワールド設定と新しいテキストドメイン環境の2つの異なる環境でPreDICTを評価する。
  論文  参考訳（メタデータ） (2024-10-08T18:16:41Z)
• Orchestrating LLMs with Different Personalizations [28.344891363780576]
  本稿では,大規模言語モデル(LLM)と個人の嗜好を一致させる新しいアプローチを提案する。 有用性、簡潔性、ユーモアなど、複数の次元に沿って記述された嗜好を踏まえると、ゴールは、この仕様に最もよく準拠する再訓練をせずにLLMを作成することである。 1つの特定の選好次元で訓練された専門的なLSMから始め、各トーケンレベルで出力をマージするブラックボックス法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:55:02Z)
• Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment [72.99676237703099]
  大規模言語モデルと人間の嗜好の整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Aligning LLM Agents by Learning Latent Preference from User Edits [23.235995078727658]
  本研究では,エージェントの出力に対するユーザ編集に基づいて,言語エージェントの対話的学習について検討する。 本稿では,履歴編集データに基づいてユーザの潜伏傾向を推定する学習フレームワーク PreLUDE を提案する。 本稿では,要約とメール作成という2つの対話型環境を導入し,GPT-4シミュレーションユーザを用いて評価を行う。
  論文  参考訳（メタデータ） (2024-04-23T17:57:47Z)
• Comparing Bad Apples to Good Oranges: Aligning Large Language Models via Joint Preference Optimization [105.3612692153615]
  命令応答対に対して協調的に好みを抽出する新しい軸を提案する。 命令と応答ペアを併用することで、大きな言語モデルのアライメントを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-03-31T02:05:40Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。