論文の概要: Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation

• arxiv url: http://arxiv.org/abs/2404.05970v1
• Date: Tue, 9 Apr 2024 02:58:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-04-10 16:08:32.966544
• Title: Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation
• Title（参考訳）: 検索拡張による大規模言語モデルのパーソナライズのための最適化手法
• Authors: Alireza Salemi, Surya Kallumadi, Hamed Zamani,
• Abstract要約: 本稿では,大規模言語モデル(LLM)のパーソナライズのための検索強化アプローチについて検討する。 パーソナライズされた生成を目的とした,限られた数の個人文書を大規模言語モデルに配信する検索モデルを最適化するための最初の試みを提案する。
• 参考スコア（独自算出の注目度）: 23.174810143027234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies retrieval-augmented approaches for personalizing large language models (LLMs), which potentially have a substantial impact on various applications and domains. We propose the first attempt to optimize the retrieval models that deliver a limited number of personal documents to large language models for the purpose of personalized generation. We develop two optimization algorithms that solicit feedback from the downstream personalized generation tasks for retrieval optimization--one based on reinforcement learning whose reward function is defined using any arbitrary metric for personalized generation and another based on knowledge distillation from the downstream LLM to the retrieval model. This paper also introduces a pre- and post-generation retriever selection model that decides what retriever to choose for each LLM input. Extensive experiments on diverse tasks from the language model personalization (LaMP) benchmark reveal statistically significant improvements in six out of seven datasets.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)をパーソナライズするための検索強化アプローチについて検討する。 パーソナライズされた生成を目的とした,限られた数の個人文書を大規模言語モデルに配信する検索モデルを最適化するための最初の試みを提案する。 提案手法は, 個人化のための任意の指標を用いて報酬関数を定義した強化学習と, 下流LLMから検索モデルへの知識蒸留に基づく2つの最適化アルゴリズムである。 本稿では,LLM入力毎にどのレトリバーを選択するかを決定する,プレジェネレーションとポストジェネレーションのレトリバー選択モデルについても紹介する。 言語モデルパーソナライゼーション(LaMP)ベンチマークによる多種多様なタスクに関する広範な実験は、7つのデータセットのうち6つにおいて統計的に有意な改善を示した。

関連論文リスト

• EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
  マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。 提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。 視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-19T16:07:04Z)
• Measuring What Makes You Unique: Difference-Aware User Modeling for Enhancing LLM Personalization [68.79814761867314]
  本稿では,Large Language Models (LLM) のパーソナライゼーションを強化するために,差分認識パーソナライズ学習(DPL)を提案する。 DPLは、戦略的に代表ユーザを比較のために選択し、タスク関連の違いを抽出するための構造化標準を確立する。 実世界のデータセットの実験により、DPLはLLMのパーソナライゼーションを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-03-04T09:53:26Z)
• IPO: Your Language Model is Secretly a Preference Classifier [1.8921784053120494]
  人からのフィードバックから強化学習(RLHF)が,大規模言語モデルと人間の嗜好を整合させる主要な手法として登場した。 本稿では、生成言語モデルを選好分類器として活用する代替手法として、Implicit Preference Optimization (IPO)を提案する。 この結果から、IPOを通じてトレーニングされたモデルは、最先端の報酬モデルを使って好みを得られるモデルに匹敵するパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2025-02-22T10:59:11Z)
• PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [28.442470930703337]
  PRISMは、効率的なマルチモーダルデータ選択のためのトレーニング不要のアプローチである。 Pearson相関解析を用いて、MLLMの固有視覚符号化特性の定量化を行う。 ビジュアルインストラクションのチューニングとデータ選択に要する時間を従来の手法の30%に短縮する。
  論文  参考訳（メタデータ） (2025-02-17T18:43:41Z)
• Efficient Response Generation Strategy Selection for Fine-Tuning Large Language Models Through Self-Aligned Perplexity [28.717420152590204]
  細調整された大言語モデル(LLM)は、通常、大量の入出力ペアを生成することに依存する。 近年の研究では、これらのトレーニングアウトプットの生成が微調整モデルの性能に大きく影響を与えることが示されている。 本稿では,特定の目標LLMに対する適合性を推定するために,生成したデータの小さなサブセットを評価する,スケーラブルな近似手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T13:14:11Z)
• Personalized Multimodal Large Language Models: A Survey [127.9521218125761]
  マルチモーダル大言語モデル(MLLM)は、最先端の性能と複数のデータモダリティを統合する能力により、ますます重要になっている。 本稿では,パーソナライズされたマルチモーダルな大規模言語モデルに関する包括的調査を行い,そのアーキテクチャ,トレーニング方法,アプリケーションに焦点をあてる。
  論文  参考訳（メタデータ） (2024-12-03T03:59:03Z)
• Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
  本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。 我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。 我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2024-11-15T18:59:27Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
  本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。 実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
  論文  参考訳（メタデータ） (2024-09-27T08:20:59Z)
• Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
  本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。 その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
  論文  参考訳（メタデータ） (2024-09-26T12:37:26Z)
• Achieving Peak Performance for Large Language Models: A Systematic Review [0.0]
  大規模言語モデル(LLM)は自然言語処理(NLP)において顕著な成功を収めた モデルが1兆のパラメータ範囲に成長するにつれて、計算とメモリのコストは大幅に増加する。 これにより、多くの研究者がこれらのモデルのトレーニングや適用に必要なリソースにアクセスするのが難しくなる。
  論文  参考訳（メタデータ） (2024-09-07T13:57:41Z)
• Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
  大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。 私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。 本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
  論文  参考訳（メタデータ） (2024-06-06T18:01:02Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• PMG : Personalized Multimodal Generation with Large Language Models [20.778869086174137]
  本稿では,大規模言語モデル(LLM)を用いたパーソナライズされたマルチモーダル生成手法を提案する。 2つのデータセットに関する広範な実験を通じて、その応用を実証し、その性能を検証する。 PMGのパーソナライゼーションはLPIPSで最大8%向上し, 生成精度は向上した。
  論文  参考訳（メタデータ） (2024-04-07T03:05:57Z)
• Personalized Large Language Models [1.0881867638866944]
  本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。 その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。 感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-14T15:55:30Z)
• Sample Efficient Preference Alignment in LLMs via Active Exploration [63.84454768573154]
  良い政策を最も効率的に特定するために、人間のフィードバックを得るコンテキストをしばしば選択できるという事実を活用します。 本稿では,データを効率的に選択する能動的探索アルゴリズムを提案する。 提案手法は,複数の言語モデルと4つの実世界のデータセットに対する人間の嗜好の限られたサンプルを用いて,ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2023-12-01T00:54:02Z)
• LaMP: When Large Language Models Meet Personalization [35.813652110400064]
  本稿では,大規模言語モデルにおけるパーソナライズの重要性を強調し,LaMPベンチマークを導入する。 LaMPは、パーソナライズされた出力を生成するための言語モデルのトレーニングと評価のための新しいベンチマークである。
  論文  参考訳（メタデータ） (2023-04-22T13:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。