論文の概要: HyPerAlign: Hypotheses-driven Personalized Alignment
- arxiv url: http://arxiv.org/abs/2505.00038v1
- Date: Tue, 29 Apr 2025 18:01:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:55.116526
- Title: HyPerAlign: Hypotheses-driven Personalized Alignment
- Title（参考訳）: HyPerAlign:仮説駆動のパーソナライズアライメント
- Authors: Cristina Garbacea, Chenhao Tan,
- Abstract要約: 大規模言語モデル(LLM)のための仮説駆動型パーソナライズ手法(HyPerAlign)を提案する。
検討的なアライメントのために、LLMモデルの有効性は平均して70ドルまで改善される。
著者の帰属について、結果は、最先端の選好微調整アプローチに対して、常に高い勝利率(通常90%ドル)を示す。
- 参考スコア（独自算出の注目度）: 24.67727411391369
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Alignment algorithms are widely used to align large language models (LLMs) to human users based on preference annotations that reflect their intended real-world use cases. Typically these (often divergent) preferences are aggregated over a diverse set of users, resulting in fine-tuned models that are aligned to the ``average-user'' preference. Nevertheless, current models are used by individual users in very specific contexts and situations, emphasizing the need for user-dependent preference control. In this work we address the problem of personalizing LLM outputs to their users, aiming to generate customized responses tailored to individual users, instead of generic outputs that emulate the collective voices of diverse populations. We propose a novel interpretable and sample-efficient hypotheses-driven personalization approach (HyPerAlign) where given few-shot examples written by a particular user, we first infer hypotheses about their communication strategies, personality and writing style, then prompt LLM models with these hypotheses and user specific attributes to generate customized outputs. We conduct experiments on two different personalization tasks, authorship attribution and deliberative alignment, with datasets from diverse domains (news articles, blog posts, emails, jailbreaking benchmarks), and demonstrate the superiority of hypotheses-driven personalization approach when compared to preference-based fine-tuning methods. For deliberative alignment, the helpfulness of LLM models is improved by up to $70\%$ on average. For authorship attribution, results indicate consistently high win-rates (commonly $>90\%$) against state-of-the-art preference fine-tuning approaches for LLM personalization across diverse user profiles and LLM models. Overall, our approach represents an interpretable and sample-efficient strategy for the personalization of LLM models to individual users.
- Abstract（参考訳）: アライメントアルゴリズムは、意図した現実世界のユースケースを反映した好みアノテーションに基づいて、大きな言語モデル(LLM)を人間のユーザと整列するために広く使用されている。
通常、これらの(しばしばばらばらな)好みは、多様なユーザのセットに集約され、結果として '平均ユーザ' の好みに合わせて調整されたモデルになる。
しかしながら、現在のモデルは非常に特定の状況や状況において個々のユーザーが使用しており、ユーザー依存の嗜好制御の必要性を強調している。
本研究では, LLM出力を個人化することの課題に対処し, 多様な集団の集団音声をエミュレートする汎用的な出力ではなく, 個別ユーザに適したカスタマイズされた応答を生成することを目的とする。
提案手法は,特定のユーザによって記述された少数ショット例を前提として,まず,そのコミュニケーション戦略,個性,書き方について仮説を推測し,これらの仮説とユーザ固有の属性でLSMモデルを推し進めて,カスタマイズされた出力を生成する,新しい解釈可能で効率的な仮説駆動型パーソナライズ手法(HyPerAlign)を提案する。
我々は、著者帰属と熟考的アライメントという2つの異なるパーソナライズタスクについて、さまざまなドメイン(ニュース記事、ブログ投稿、メール、ジェイルブレイクベンチマーク)のデータセットを用いて実験を行い、嗜好に基づく微調整手法と比較して仮説駆動パーソナライズアプローチの優位性を示す。
検討的なアライメントのために、LLMモデルの有効性は平均で最大70 %まで改善される。
著者の帰属は、様々なユーザープロファイルやLLMモデルにまたがるLLMパーソナライゼーションのための最先端の好みの微調整アプローチに対して、常に高い勝利率(通常、90\%$)を示す。
全体として,本手法はLLMモデルの個人化のための解釈可能な,サンプル効率の戦略である。
関連論文リスト
- LoRe: Personalizing LLMs via Low-Rank Reward Modeling [47.12507639759984]
本稿では,低ランク嗜好モデルを利用してユーザ固有の報酬関数を効率的に学習し,一般化する新しいフレームワークを提案する。
提案手法を複数の選好データセット上で検証し、未確認ユーザに対して優れた一般化を示し、選好予測タスクの精度を改善した。
論文 参考訳（メタデータ） (2025-04-20T01:16:24Z) - Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。
DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。
実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
論文 参考訳（メタデータ） (2025-03-04T09:53:26Z) - Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。
PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。
提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
論文 参考訳（メタデータ） (2025-01-11T22:38:41Z) - Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。
個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。
数発のステアライメントのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-18T16:14:59Z) - ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。
ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
論文 参考訳（メタデータ） (2024-10-21T14:02:40Z) - Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
調整可能な大きな言語モデル(LLM)をトレーニングします。
木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。
評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
論文 参考訳（メタデータ） (2024-10-04T17:48:29Z) - PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。
我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。
私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
論文 参考訳（メタデータ） (2024-09-30T13:55:42Z) - LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。
これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。
そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
論文 参考訳（メタデータ） (2024-09-18T11:54:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。