論文の概要: Few-shot Personalization of LLMs with Mis-aligned Responses

• arxiv url: http://arxiv.org/abs/2406.18678v1
• Date: Wed, 26 Jun 2024 18:29:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 18:07:31.632784
• Title: Few-shot Personalization of LLMs with Mis-aligned Responses
• Title（参考訳）: ミスアライン応答を有するLDMのファインショットパーソナライズ
• Authors: Jaehyung Kim, Yiming Yang,
• Abstract要約: 本稿では,大規模言語モデル(LLM)のパーソナライズのための新しいアプローチを提案する。 私たちのキーとなるアイデアは、LSMを用いてプロンプトを段階的に改善することで、各ユーザに対してパーソナライズされたプロンプトのセットを学ぶことです。 即時改善の反復過程において,LLMによる不整合応答の文脈を取り入れた。
• 参考スコア（独自算出の注目度）: 40.0349773257245
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As the diversity of users increases, the capability of providing personalized responses by large language models (LLMs) has become increasingly important. Existing approaches have only limited successes in LLM personalization, due to the absence of personalized learning or the reliance on shared personal data. This paper proposes a new approach for a few-shot personalization of LLMs with their mis-aligned responses (Fermi). Our key idea is to learn a set of personalized prompts for each user by progressively improving the prompts using LLMs, based on user profile (e.g., demographic information) and a few examples of previous opinions. During an iterative process of prompt improvement, we incorporate the contexts of mis-aligned responses by LLMs, which are especially crucial for the effective personalization of LLMs. In addition, we develop an effective inference method to further leverage the context of the test query and the personalized prompts. Our experimental results demonstrate that Fermi significantly improves performance across various benchmarks, compared to the best-performing baselines.
• Abstract（参考訳）: ユーザの多様性が増すにつれて、大規模言語モデル(LLM)によるパーソナライズされた応答を提供する能力がますます重要になっている。 既存のアプローチは、パーソナライズされた学習の欠如や、共有された個人データへの依存のため、LLMパーソナライズにおいて限られた成功しか得られない。 本稿では,LLMを不一致応答(Fermi)でパーソナライズするための新しいアプローチを提案する。 私たちのキーとなるアイデアは、ユーザプロファイル(例えば、人口統計情報)と、以前の意見のいくつかの例に基づいて、LSMを用いてプロンプトを段階的に改善することで、各ユーザのパーソナライズされたプロンプトの集合を学習することである。 即時改善の反復過程において,LLMの効果的なパーソナライズには特に重要な,LLMによる不整合応答の文脈を取り入れた。 さらに,テストクエリとパーソナライズされたプロンプトのコンテキストをさらに活用するための効果的な推論手法を開発した。 我々の実験結果から,Fermiは,性能のよいベースラインと比較して,様々なベンチマークにおける性能を著しく向上することが示された。

関連論文リスト

• Personalization of Large Language Models: A Survey [131.00650432814268]
  大規模言語モデル(LLM)のパーソナライゼーションは、最近、広範囲のアプリケーションでますます重要になっている。 パーソナライズ LLM に関する既存の研究の多くは、(a)パーソナライズされたテキスト生成、または(b)レコメンデーションシステムのようなパーソナライズに関連する下流アプリケーションに LLM を活用することに集中している。 パーソナライズされたLSM使用のための分類を導入し、主要な違いと課題を要約する。
  論文  参考訳（メタデータ） (2024-10-29T04:01:11Z)
• Aligning LLMs with Individual Preferences via Interaction [51.72200436159636]
  調整可能な大きな言語モデル(LLM)をトレーニングします。 木構造における3K以上の多ターン会話を含む多ターン嗜好データセットを開発した。 評価のために、慎重に選択された100のサンプルと、会話中にカスタマイズされたアライメント性能を測定するために適切に設計されたメトリクスからなるALOEベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-04T17:48:29Z)
• PersonalLLM: Tailoring LLMs to Individual Preferences [11.717169516971856]
  我々は、特定のユーザに対して最大限のメリットを提供するためにLLMを適用することに焦点を当てた、PersonalLLMという公開ベンチマークを提示する。 我々は、ユーザーが不均一な潜伏傾向を示すことを期待する高品質な回答と組み合わせたオープンエンドプロンプトをキュレートする。 私たちのデータセットと生成された個人性は、パーソナライズアルゴリズムを開発するための革新的なテストベッドを提供します。
  論文  参考訳（メタデータ） (2024-09-30T13:55:42Z)
• Guided Profile Generation Improves Personalization with LLMs [3.2685922749445617]
  勧告、ランク付け、Eコマースプラットフォームを含む現代の商業システムでは、パーソナライズコンテキストを大型言語モデル(LLM)への入力として取り入れる傾向にある。 本稿では,自然言語で個人プロファイルを生成するための汎用手法であるGPGを提案する。 実験の結果,GAGはLLMのパーソナライズ能力を向上させることが示され,例えば,LLMを生の個人的コンテキストで直接供給するよりも,個人の嗜好を予測する上で37%の精度が向上することがわかった。
  論文  参考訳（メタデータ） (2024-09-19T21:29:56Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• MAPO: Boosting Large Language Model Performance with Model-Adaptive Prompt Optimization [73.7779735046424]
  異なるプロンプトを異なるLarge Language Models (LLM) に適応させることで,NLP の様々な下流タスクにまたがる機能の向上が期待できる。 次に、下流タスクにおける各LLMに対して、元のプロンプトを最適化するモデル適応プロンプト(MAPO)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:39:59Z)
• Personalized Large Language Models [1.0881867638866944]
  本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。 その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。 感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-14T15:55:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。