論文の概要: Aligning LLMs with Individual Preferences via Interaction

• arxiv url: http://arxiv.org/abs/2410.03642v1
• Date: Fri, 4 Oct 2024 17:48:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:58:02.730019
• Title: Aligning LLMs with Individual Preferences via Interaction
• Title（参考訳）: 対話による個人選好を考慮したLLMのアライメント
• Authors: Shujin Wu, May Fung, Cheng Qian, Jeonghwan Kim, Dilek Hakkani-Tur, Heng Ji,
• Abstract要約: 調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
• 参考スコア（独自算出の注目度）: 51.72200436159636
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As large language models (LLMs) demonstrate increasingly advanced capabilities, aligning their behaviors with human values and preferences becomes crucial for their wide adoption. While previous research focuses on general alignment to principles such as helpfulness, harmlessness, and honesty, the need to account for individual and diverse preferences has been largely overlooked, potentially undermining customized human experiences. To address this gap, we train LLMs that can ''interact to align'', essentially cultivating the meta-skill of LLMs to implicitly infer the unspoken personalized preferences of the current user through multi-turn conversations, and then dynamically align their following behaviors and responses to these inferred preferences. Our approach involves establishing a diverse pool of 3,310 distinct user personas by initially creating seed examples, which are then expanded through iterative self-generation and filtering. Guided by distinct user personas, we leverage multi-LLM collaboration to develop a multi-turn preference dataset containing 3K+ multi-turn conversations in tree structures. Finally, we apply supervised fine-tuning and reinforcement learning to enhance LLMs using this dataset. For evaluation, we establish the ALOE (ALign With CustOmized PrEferences) benchmark, consisting of 100 carefully selected examples and well-designed metrics to measure the customized alignment performance during conversations. Experimental results demonstrate the effectiveness of our method in enabling dynamic, personalized alignment via interaction.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ますます高度な能力を示すため、その振る舞いを人間の価値観や好みと整合させることが、広く採用するには不可欠である。 これまでの研究では、役に立つこと、無害さ、誠実さといった原則への一般的な整合性に焦点が当てられていたが、個人的および多様な嗜好を説明する必要性はほとんど見過ごされ、カスタマイズされた人間の体験を損なう可能性がある。 このギャップに対処するため、我々は、LLMのメタスキルを育み、マルチターン会話を通じて現在のユーザのパーソナライズされた嗜好を暗黙的に推測し、次に次の行動や反応を推論された嗜好に動的に調整する「協調する相互作用」を訓練する。 当社のアプローチでは、最初はシードサンプルを作成して3,310人の異なるユーザペルソナを多種多様なプールにすることで、反復的な自己生成とフィルタリングを通じて拡張する。 異なるユーザペルソナによってガイドされたマルチLLMコラボレーションを利用して,木構造に3K以上のマルチターン会話を含むマルチターン選好データセットを開発する。 最後に、教師付き微調整および強化学習を適用し、このデータセットを用いてLCMを強化する。 ALOE(Align With CustOmized PrEferences)ベンチマークは、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するためのよく設計されたメトリクスから構成される。 実験により,対話による動的,パーソナライズされたアライメントの実現に本手法の有効性が示された。

関連論文リスト

• LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
  本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。 提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• Active Preference-based Learning for Multi-dimensional Personalization [7.349038301460469]
  大規模言語モデル(LLM)はタスク間で顕著な汎用性を示しているが、個々の人間の好みに合わせることは依然として困難である。 複数の目的にまたがるユーザの嗜好を推定するためにバイナリフィードバックを用いた能動的嗜好学習フレームワークを提案する。 モデル応答をパーソナライズする上で,言語生成タスクに関する理論的解析と実験を行い,そのフィードバック効率と有効性を示す。
  論文  参考訳（メタデータ） (2024-11-01T11:49:33Z)
• MetaAlign: Align Large Language Models with Diverse Preferences during Inference Time [50.41806216615488]
  大規模言語モデル(LLM)は、広範なテキストコーパスから広範な知識と顕著な能力を取得する。 LLMをより使いやすくするためには、それらを人間の好みに合わせることが不可欠である。 提案手法は,LLMが推論時に指定される様々な明示的あるいは暗黙的な選好と動的に整合するのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-10-18T05:31:13Z)
• PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
  我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。 我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。 私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
  論文  参考訳（メタデータ） (2024-09-30T13:55:42Z)
• Personality Alignment of Large Language Models [26.071445846818914]
  大規模言語モデル(LLM)を整列する現在の手法は、一般的に一般的な人間の価値観や振る舞いを反映することを目的としている。 パーソナリティアライメントの概念を紹介する。 このアプローチは、個々のユーザや近縁なグループの特定の嗜好に合うように、LSMの反応と決定を調整します。
  論文  参考訳（メタデータ） (2024-08-21T17:09:00Z)
• Few-shot Personalization of LLMs with Mis-aligned Responses [40.0349773257245]
  本稿では,大規模言語モデル(LLM)のパーソナライズのための新しいアプローチを提案する。 私たちのキーとなるアイデアは、LSMを用いてプロンプトを段階的に改善することで、各ユーザに対してパーソナライズされたプロンプトのセットを学ぶことです。 即時改善の反復過程において,LLMによる不整合応答の文脈を取り入れた。
  論文  参考訳（メタデータ） (2024-06-26T18:29:12Z)
• Doing Personal LAPS: LLM-Augmented Dialogue Construction for Personalized Multi-Session Conversational Search [9.243535345193711]
  提案手法は,大規模言語モデルを用いて,個人化された対話を生成するために,一人の人間労働者を誘導する。 LAPSは大規模、人書き、マルチセッション、マルチドメインの会話を収集できる。 その結果,抽出された嗜好を用いて明示的に生成した応答は,ユーザの実際の嗜好と一致していることがわかった。
  論文  参考訳（メタデータ） (2024-05-06T13:53:03Z)
• Controllable Preference Optimization: Toward Controllable Multi-Objective Alignment [103.12563033438715]
  人工知能におけるアライメントは、モデル応答と人間の好みと値の一貫性を追求する。 既存のアライメント技術は、主に一方向であり、様々な目的に対して、最適以下のトレードオフと柔軟性の低下につながる。 制御可能な選好最適化(CPO)を導入し、異なる目的に対する選好スコアを明確に指定する。
  論文  参考訳（メタデータ） (2024-02-29T12:12:30Z)
• Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
  Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。 RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
  論文  参考訳（メタデータ） (2024-02-12T22:47:57Z)
• Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging [148.77027765872006]
  パーソナライズされたヒューマンフィードバック(RLPHF)問題からの強化学習について検討する。 LLMは、多目的強化学習(MORL)問題としてアライメントをモデル化することで、複数の好みに整列する。 我々は、好みを複数の次元に分解することで、パーソナライズされたアライメントを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-17T20:22:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。