論文の概要: HyPerAlign: Interpretable Personalized LLM Alignment via Hypothesis Generation

• arxiv url: http://arxiv.org/abs/2505.00038v2
• Date: Mon, 19 May 2025 18:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.140604
• Title: HyPerAlign: Interpretable Personalized LLM Alignment via Hypothesis Generation
• Title（参考訳）: HyPerAlign:仮説生成による解釈可能なパーソナライズLDMアライメント
• Authors: Cristina Garbacea, Chenhao Tan,
• Abstract要約: HyPerAlignは、大規模言語モデルに対する解釈可能かつサンプル効率の仮説駆動パーソナライズアプローチである。 我々は2つの異なるパーソナライズタスク、すなわち著者帰属と熟考的アライメントについて実験を行った。 その結果、仮説駆動型パーソナライゼーションの方が好みに基づく微調整法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 24.67727411391369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Alignment algorithms are widely used to align large language models (LLMs) to human users based on preference annotations. Typically these (often divergent) preferences are aggregated over a diverse set of users, resulting in fine-tuned models that are aligned to the ``average-user'' preference. Nevertheless, current models are used by individual users in very specific contexts and situations, emphasizing the need for user-dependent preference control. In this work we address the problem of personalizing LLM outputs to their users. We aim to generate customized responses tailored to specific individuals instead of generic outputs that emulate the collective voices of diverse populations. We propose HyPerAlign, an interpretable and sample-efficient hypothesis-driven personalization approach for LLM models. Given few-shot examples written by a particular user, we first infer hypotheses about their communication strategies, personality, and writing style, then prompt LLM models with these hypotheses and user-specific attributes to generate customized outputs. We conduct experiments on two different personalization tasks, namely authorship attribution and deliberative alignment, with datasets from diverse domains (news articles, blog posts, emails, jailbreaking benchmarks). Results demonstrate the superiority of hypothesis-driven LLM personalization compared to preference-based fine-tuning methods. For authorship attribution, HyPerAlign generations have consistently high win-rates (commonly $> 90\%$) against state-of-the-art preference fine-tuning approaches across diverse user profiles and LLM models. For deliberative alignment, the helpfulness of LLM models is improved by up to $70\%$ on average. Overall, HyPerAlign represents an interpretable and sample-efficient strategy for the personalization of LLM models to individual users.
• Abstract（参考訳）: 調整アルゴリズムは、好みのアノテーションに基づいて、大きな言語モデル(LLM)を人間のユーザと整列するために広く使用されている。 通常、これらの(しばしばばらばらな)好みは、多様なユーザのセットに集約され、結果として '平均ユーザ' の好みに合わせて調整されたモデルになる。 しかしながら、現在のモデルは非常に特定の状況や状況において個々のユーザーが使用しており、ユーザー依存の嗜好制御の必要性を強調している。 本研究では,LLM出力をユーザに対してパーソナライズする問題に対処する。 多様な集団の集団の声をエミュレートする汎用的な出力の代わりに、特定の個人に合わせてカスタマイズされた応答を生成することを目的としている。 LLMモデルに対する解釈可能な仮説駆動型パーソナライズ手法であるHyPerAlignを提案する。 特定のユーザによって書かれたわずかな例から、まず、コミュニケーション戦略、パーソナリティ、書き方について仮説を推測し、これらの仮説とユーザ固有の属性でLCMモデルにプロンプトして、カスタマイズされた出力を生成する。 我々は2つの異なるパーソナライズタスク、すなわちオーサシップ属性と熟考アライメントを、さまざまなドメイン(ニュース記事、ブログ記事、メール、ジェイルブレイクベンチマーク)のデータセットで実験する。 その結果、仮説駆動型LLMパーソナライズ法の方が好みに基づく微調整法よりも優れていることが示された。 著者の帰属については、HyPerAlign世代は、様々なユーザープロファイルとLLMモデルにわたる最先端の好みの微調整アプローチに対して、常に高い勝利率(通常、90\%$)を持っている。 検討的アライメントでは, LLMモデルの有効性は平均で70 %以上向上する。 全体としてHyPerAlignは、LLMモデルを個々のユーザにパーソナライズするための解釈可能な、サンプル効率の戦略である。

関連論文リスト

• LoRe: Personalizing LLMs via Low-Rank Reward Modeling [47.12507639759984]
  本稿では,低ランク嗜好モデルを利用してユーザ固有の報酬関数を効率的に学習し,一般化する新しいフレームワークを提案する。 提案手法を複数の選好データセット上で検証し、未確認ユーザに対して優れた一般化を示し、選好予測タスクの精度を改善した。
  論文  参考訳（メタデータ） (2025-04-20T01:16:24Z)
• Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
  本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。 DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。 実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-04T09:53:26Z)
• Personalized Preference Fine-tuning of Diffusion Models [75.22218338096316]
  拡散モデルとパーソナライズされた嗜好を整合させるマルチリワード最適化の目的であるPDを導入する。 PPDでは、拡散モデルがユーザーの個人の好みを数秒で学習する。 提案手法は,Stable Cascadeに対して平均76%の勝利率を達成し,特定のユーザの好みをより正確に反映した画像を生成する。
  論文  参考訳（メタデータ） (2025-01-11T22:38:41Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
  我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。 我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。 私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
  論文  参考訳（メタデータ） (2024-09-30T13:55:42Z)
• LLMs + Persona-Plug = Personalized LLMs [41.60364110693824]
  パーソナライゼーションは多くの言語タスクやアプリケーションにおいて重要な役割を担っている。 これにより、大きな言語モデル(LLM)を適用して、ユーザの好みに合わせてカスタマイズされたアウトプットを生成する、さまざまなパーソナライズされたアプローチが開発された。 そこで我々は,LLMモデルを提案する。軽量なプラグインユーザ埋め込みモジュールを用いて,過去の状況をすべてモデル化し,個人毎のユーザ固有の埋め込みを構築する。
  論文  参考訳（メタデータ） (2024-09-18T11:54:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。