Fugu-MT 論文翻訳(概要): In-Context Meta LoRA Generation

論文の概要: In-Context Meta LoRA Generation

arxiv url: http://arxiv.org/abs/2501.17635v2
Date: Thu, 30 Jan 2025 17:59:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-31 11:53:09.926923
Title: In-Context Meta LoRA Generation
Title（参考訳）: インコンテキストメタロラ生成
Authors: Yihua Shao, Minxi Yan, Yang Liu, Siyu Chen, Wenjie Chen, Xinwei Long, Ziyang Yan, Lei Li, Chenyu Zhang, Nicu Sebe, Hao Tang, Yan Wang, Hao Zhao, Mengzhu Wang, Jingcai Guo,
Abstract要約: Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。 In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
参考スコア（独自算出の注目度）: 61.690065588534296
License:
Abstract: Low-rank Adaptation (LoRA) has demonstrated remarkable capabilities for task specific fine-tuning. However, in scenarios that involve multiple tasks, training a separate LoRA model for each one results in considerable inefficiency in terms of storage and inference. Moreover, existing parameter generation methods fail to capture the correlations among these tasks, making multi-task LoRA parameter generation challenging. To address these limitations, we propose In-Context Meta LoRA (ICM-LoRA), a novel approach that efficiently achieves task-specific customization of large language models (LLMs). Specifically, we use training data from all tasks to train a tailored generator, Conditional Variational Autoencoder (CVAE). CVAE takes task descriptions as inputs and produces task-aware LoRA weights as outputs. These LoRA weights are then merged with LLMs to create task-specialized models without the need for additional fine-tuning. Furthermore, we utilize in-context meta-learning for knowledge enhancement and task mapping, to capture the relationship between tasks and parameter distributions. As a result, our method achieves more accurate LoRA parameter generation for diverse tasks using CVAE. ICM-LoRA enables more accurate LoRA parameter reconstruction than current parameter reconstruction methods and is useful for implementing task-specific enhancements of LoRA parameters. At the same time, our method occupies 283MB, only 1\% storage compared with the original LoRA.
Abstract（参考訳）: Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。しかし、複数のタスクを含むシナリオでは、各タスクに対して別々のLoRAモデルをトレーニングすると、ストレージや推論の面ではかなり非効率になる。さらに、既存のパラメータ生成手法ではこれらのタスク間の相関を捕捉できず、マルチタスクのLoRAパラメータ生成が困難になる。これらの制約に対処するため,大規模言語モデル (LLM) のタスク固有のカスタマイズを効率的に行う新しい手法である In-Context Meta LoRA (ICM-LoRA) を提案する。具体的には、すべてのタスクからトレーニングデータを使用して、調整されたジェネレータ、条件付き変分オートエンコーダ(CVAE)をトレーニングする。 CVAEはタスク記述を入力として取り、タスク対応のLoRA重みを出力として生成する。これらのLoRA重みはLLMとマージされ、追加の微調整を必要とせずにタスク特化モデルを生成する。さらに,知識向上とタスクマッピングにコンテキスト内メタラーニングを用い,タスクとパラメータ分布の関係を把握した。その結果,CVAEを用いた多様なタスクに対して,より正確なLoRAパラメータ生成を実現することができた。 ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にし、LoRAパラメータのタスク固有の拡張を実装するのに有用である。同時に,本手法は283MBを占有するが,オリジナルのLoRAに比べて1\%しか保存できない。

関連論文リスト

Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning [53.98941571078398]
Low-Rank Adaptation (LoRA)は、その効率性とモジュール性から、大きな言語モデル(LLM)を特定のドメインに適用するために広く使われている。最近の研究は、各LoRAモジュールを専門家として扱い、複数の特殊なLoRAモジュールによるタスク干渉を軽減することで、Mixture of Experts (MoE)を採用している。効果はあるものの、これらの手法は個々のタスク内の知識を分離することが多く、関連するタスク間で共有された知識を完全に活用することができない。各ランクをテキスト処理することでMoEをLoRAに埋め込むシングルランク専門家LoRA(textbfSMoRA)を提案する。
論文参考訳（メタデータ） (2025-01-25T06:56:39Z)
MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
マルチタスク学習能力を大幅に向上させながら、低ランク適応の利点を保ちながら、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別するタスク適応パラメータを追加することでLoRAを強化する。このアプローチにより、汎用コーパス上で事前訓練された大規模言語モデル(LLM)が、限られた数のトレーニング可能なパラメータで異なるターゲットタスクドメインに適応できる。
論文参考訳（メタデータ） (2024-10-12T08:32:26Z)
DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models [10.179598253424103]
大規模言語モデル(LLM)は様々なタスクで堅牢なパフォーマンスを実現していますが、これらのモデルを特定のドメイン向けに微調整することはリソース集約的です。 5Mパラメータしか持たないミニMLPモジュールを提案し、トップpサンプリング戦略を用いて文レベルで複数のLoRAを動的に融合する。このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。
論文参考訳（メタデータ） (2024-10-02T12:45:52Z)
Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-24T05:24:41Z)
MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
MeteoRAはスケーラブルで効率的なフレームワークで、複数のタスク固有のLoRAアダプタをベースLLMに再利用する。 MeteoRAは複合タスクの処理において優れた性能を実現し、単一の推論パスで10のシーケンシャルな問題を効果的に解決する。
論文参考訳（メタデータ） (2024-05-19T20:46:07Z)
LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文参考訳（メタデータ） (2024-02-18T04:41:25Z)
LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
論文参考訳（メタデータ） (2024-02-15T15:02:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。