論文の概要: Disentangling Preference Representation and Text Generation for Efficient Individual Preference Alignment

• arxiv url: http://arxiv.org/abs/2412.20834v1
• Date: Mon, 30 Dec 2024 09:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:27.124228
• Title: Disentangling Preference Representation and Text Generation for Efficient Individual Preference Alignment
• Title（参考訳）: 効率の良い個人選好アライメントのためのディエンタングリングな選好表現とテキスト生成
• Authors: Jianfei Zhang, Jun Bai, Bei Li, Yanmeng Wang, Rumei Li, Chenghua Lin, Wenge Rong,
• Abstract要約: 個人の嗜好調整のためのフレキシブルパラダイムを導入する。 我々は,複数のテキスト生成タスクにまたがるアプローチを検証し,PEFTに基づく手法よりも整合性の高い品質が得られることを示す。
• 参考スコア（独自算出の注目度）: 24.419502686973495
• License:
• Abstract: Aligning Large Language Models (LLMs) with general human preferences has been proved crucial in improving the interaction quality between LLMs and human. However, human values are inherently diverse among different individuals, making it insufficient to align LLMs solely with general preferences. To address this, personalizing LLMs according to individual feedback emerges as a promising solution. Nonetheless, this approach presents challenges in terms of the efficiency of alignment algorithms. In this work, we introduce a flexible paradigm for individual preference alignment. Our method fundamentally improves efficiency by disentangling preference representation from text generation in LLMs. We validate our approach across multiple text generation tasks and demonstrate that it can produce aligned quality as well as or better than PEFT-based methods, while reducing additional training time for each new individual preference by $80\%$ to $90\%$ in comparison with them.
• Abstract（参考訳）: 言語モデル(LLM)を一般の人間の嗜好に適応させることは,LLMと人間との相互作用の質を向上させる上で極めて重要であることが証明されている。 しかし、人的価値は本質的に個人によって多様であり、LLMを一般的な嗜好に合わせるのに不十分である。 この問題に対処するために、個人からのフィードバックに応じてLLMをパーソナライズすることが、有望な解決策として浮上する。 それにもかかわらず、この手法はアライメントアルゴリズムの効率の点で課題を提起する。 本研究では,個人の嗜好調整のためのフレキシブルパラダイムを提案する。 本手法は,LLMにおけるテキスト生成から好み表現を分離することで,効率を根本的に向上する。 我々は,複数のテキスト生成タスクにまたがってアプローチを検証し,PEFTベースの手法と同等以上の品質が得られることを示すとともに,新たな個人の好みに対して,新たなトレーニング時間を80\%$から90\%$に短縮する。

関連論文リスト

• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• Uncovering Factor Level Preferences to Improve Human-Model Alignment [58.50191593880829]
  PROFILEは、好みを駆動する特定の要因の影響を明らかにし、定量化するフレームワークである。 ProFILE の因子レベル分析は、人間モデルのアライメントと不適応の背後にある 'なぜ' を説明している。 我々は、不整合要因に対処するなど、要因レベルの洞察の活用が、人間の嗜好との整合性をいかに改善するかを実証する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:34Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• Personality Alignment of Large Language Models [26.071445846818914]
  大規模言語モデル(LLM)を整列する現在の手法は、一般的に一般的な人間の価値観や振る舞いを反映することを目的としている。 パーソナリティアライメントの概念を紹介する。 このアプローチは、個々のユーザや近縁なグループの特定の嗜好に合うように、LSMの反応と決定を調整します。
  論文  参考訳（メタデータ） (2024-08-21T17:09:00Z)
• Orchestrating LLMs with Different Personalizations [28.344891363780576]
  本稿では,大規模言語モデル(LLM)と個人の嗜好を一致させる新しいアプローチを提案する。 有用性、簡潔性、ユーモアなど、複数の次元に沿って記述された嗜好を踏まえると、ゴールは、この仕様に最もよく準拠する再訓練をせずにLLMを作成することである。 1つの特定の選好次元で訓練された専門的なLSMから始め、各トーケンレベルで出力をマージするブラックボックス法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T22:55:02Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Linear Alignment: A Closed-form Solution for Aligning Human Preferences without Tuning and Feedback [70.32795295142648]
  リニアアライメントは、言語モデルと人間の好みを1つの推論ステップで整列する新しいアルゴリズムである。 一般的な選好データセットとパーソナライズされた選好データセットの実験により、線形アライメントはLLMアライメントの性能と効率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-21T10:46:23Z)
• Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging [148.77027765872006]
  パーソナライズされたヒューマンフィードバック(RLPHF)問題からの強化学習について検討する。 LLMは、多目的強化学習(MORL)問題としてアライメントをモデル化することで、複数の好みに整列する。 我々は、好みを複数の次元に分解することで、パーソナライズされたアライメントを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-17T20:22:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。