Fugu-MT 論文翻訳(概要): Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation

論文の概要: Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation

arxiv url: http://arxiv.org/abs/2404.05970v1
Date: Tue, 9 Apr 2024 02:58:05 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 16:08:32.966544
Title: Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation
Title（参考訳）: 検索拡張による大規模言語モデルのパーソナライズのための最適化手法
Authors: Alireza Salemi, Surya Kallumadi, Hamed Zamani,
Abstract要約: 本稿では,大規模言語モデル(LLM)のパーソナライズのための検索強化アプローチについて検討する。パーソナライズされた生成を目的とした,限られた数の個人文書を大規模言語モデルに配信する検索モデルを最適化するための最初の試みを提案する。
参考スコア（独自算出の注目度）: 23.174810143027234
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper studies retrieval-augmented approaches for personalizing large language models (LLMs), which potentially have a substantial impact on various applications and domains. We propose the first attempt to optimize the retrieval models that deliver a limited number of personal documents to large language models for the purpose of personalized generation. We develop two optimization algorithms that solicit feedback from the downstream personalized generation tasks for retrieval optimization--one based on reinforcement learning whose reward function is defined using any arbitrary metric for personalized generation and another based on knowledge distillation from the downstream LLM to the retrieval model. This paper also introduces a pre- and post-generation retriever selection model that decides what retriever to choose for each LLM input. Extensive experiments on diverse tasks from the language model personalization (LaMP) benchmark reveal statistically significant improvements in six out of seven datasets.
Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)をパーソナライズするための検索強化アプローチについて検討する。パーソナライズされた生成を目的とした,限られた数の個人文書を大規模言語モデルに配信する検索モデルを最適化するための最初の試みを提案する。提案手法は, 個人化のための任意の指標を用いて報酬関数を定義した強化学習と, 下流LLMから検索モデルへの知識蒸留に基づく2つの最適化アルゴリズムである。本稿では,LLM入力毎にどのレトリバーを選択するかを決定する,プレジェネレーションとポストジェネレーションのレトリバー選択モデルについても紹介する。言語モデルパーソナライゼーション(LaMP)ベンチマークによる多種多様なタスクに関する広範な実験は、7つのデータセットのうち6つにおいて統計的に有意な改善を示した。

関連論文リスト

Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization [65.64108848398696]
本稿では,MLLMのマルチモーダル推論能力を高めるための選好最適化プロセスを提案する。我々は,マルチモーダルCoT性能を向上する,MPO(Mixed Preference Optimization)と呼ばれるシンプルで効果的な手法を開発した。我々のモデルであるInternVL2-8B-MPOは、MathVista上で67.0の精度を実現し、InternVL2-8Bを8.7ポイント上回り、10倍のInternVL2-76Bに匹敵する性能を達成する。
論文参考訳（メタデータ） (2024-11-15T18:59:27Z)
Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation [56.75665429851673]
本稿では,人間とLLMの選好アライメントという2つのユニークな視点から導いた,新しい命令キュレーションアルゴリズムを提案する。実験により,合成マルチモーダル命令を最大90%圧縮することにより,モデル性能の維持や改善が可能であることが示された。
論文参考訳（メタデータ） (2024-09-27T08:20:59Z)
Self-supervised Preference Optimization: Enhance Your Language Model with Preference Degree Awareness [27.43137305486112]
本稿では,自己監督的選好度損失とアライメント損失を組み合わせた自己監督的選好度損失を構成する,新しい自己監督的選好最適化(SPO)フレームワークを提案する。その結果,SPOを既存の好み最適化手法とシームレスに統合し,最先端性能を実現することができた。
論文参考訳（メタデータ） (2024-09-26T12:37:26Z)
Achieving Peak Performance for Large Language Models: A Systematic Review [0.0]
大規模言語モデル(LLM)は自然言語処理(NLP)において顕著な成功を収めたモデルが1兆のパラメータ範囲に成長するにつれて、計算とメモリのコストは大幅に増加する。これにより、多くの研究者がこれらのモデルのトレーニングや適用に必要なリソースにアクセスするのが難しくなる。
論文参考訳（メタデータ） (2024-09-07T13:57:41Z)
Aligning Large Language Models with Self-generated Preference Data [72.99676237703099]
大規模言語モデル(LLM)と人間の嗜好との整合性を高める新しいフレームワークを提案する。私たちのキーとなるアイデアは、小さな(種)データの中で人間の事前知識を活用することです。本稿では,ノイズ認識型選好学習アルゴリズムを導入し,生成した選好データにおける品質低下のリスクを軽減する。
論文参考訳（メタデータ） (2024-06-06T18:01:02Z)
Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-05-29T17:59:07Z)
Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
論文参考訳（メタデータ） (2024-05-26T00:29:04Z)
PMG : Personalized Multimodal Generation with Large Language Models [20.778869086174137]
本稿では,大規模言語モデル(LLM)を用いたパーソナライズされたマルチモーダル生成手法を提案する。 2つのデータセットに関する広範な実験を通じて、その応用を実証し、その性能を検証する。 PMGのパーソナライゼーションはLPIPSで最大8%向上し, 生成精度は向上した。
論文参考訳（メタデータ） (2024-04-07T03:05:57Z)
Personalized Large Language Models [1.0881867638866944]
本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
論文参考訳（メタデータ） (2024-02-14T15:55:30Z)
LaMP: When Large Language Models Meet Personalization [35.813652110400064]
本稿では,大規模言語モデルにおけるパーソナライズの重要性を強調し,LaMPベンチマークを導入する。 LaMPは、パーソナライズされた出力を生成するための言語モデルのトレーニングと評価のための新しいベンチマークである。
論文参考訳（メタデータ） (2023-04-22T13:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。