論文の概要: LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks

• arxiv url: http://arxiv.org/abs/2402.11455v1
• Date: Sun, 18 Feb 2024 04:41:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 21:12:16.009678
• Title: LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks
• Title（参考訳）: LoRA-Flow: 生成タスクにおける大規模言語モデルのための動的LoRA融合
• Authors: Hanqing Wang, Bowen Ping, Shuo Wang, Xu Han, Yun Chen, Zhiyuan Liu, Maosong Sun
• Abstract要約: LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
• 参考スコア（独自算出の注目度）: 72.88244322513039
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LoRA employs lightweight modules to customize large language models (LLMs) for each downstream task or domain, where different learned additional modules represent diverse skills. Combining existing LoRAs to address new tasks can enhance the reusability of learned LoRAs, particularly beneficial for tasks with limited annotated data. Most prior works on LoRA combination primarily rely on task-level weights for each involved LoRA, making different examples and tokens share the same LoRA weights. However, in generative tasks, different tokens may necessitate diverse skills to manage. Taking the Chinese math task as an example, understanding the problem description may depend more on the Chinese LoRA, while the calculation part may rely more on the math LoRA. To this end, we propose LoRA-Flow, which utilizes dynamic weights to adjust the impact of different LoRAs. The weights at each step are determined by a fusion gate with extremely few parameters, which can be learned with only 200 training examples. Experiments across six generative tasks demonstrate that our method consistently outperforms baselines with task-level fusion weights. This underscores the necessity of introducing dynamic fusion weights for LoRA combination.
• Abstract（参考訳）: LoRAは軽量モジュールを使用して、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズする。 新しいタスクに対処するために既存のLoRAを組み合わせることで、学習したLoRAの再利用性を高めることができる。 LoRAの組み合わせに関する以前のほとんどの研究は、主に関連するLoRAごとにタスクレベルの重みに依存しており、異なる例とトークンが同じLoRA重みを共有する。 しかし、生成タスクでは、異なるトークンは管理する様々なスキルを必要とする。 中国の数学タスクを例にとると、問題記述の理解は中国のLoRAに依存し、計算部は数学のLoRAに依存している可能性がある。 そこで本稿では,異なるロラスの影響を動的重み付けを用いて調整するlora-flowを提案する。 各ステップの重みは、非常に少ないパラメータを持つ融合ゲートによって決定され、200のトレーニング例で学習できる。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。 これはlora結合に動的融合重みを導入する必要性を強調する。

関連論文リスト

• LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks [73.09643674975591]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)のパラメータ効率の高い微調整手法である。 異なるLoRAモジュールをマージして,スキルコンポジションを実現する方法について検討する。
  論文  参考訳（メタデータ） (2024-10-16T20:33:06Z)
• Learning Attentional Mixture of LoRAs for Language Model Continual Learning [5.405488709294211]
  Low-Rank Adaption (LoRA) を用いた細調整型大規模言語モデル (LLM) は,新しいタスクに対する継続的な学習に有効なアプローチとして広く認められている。 LLMに適した連続学習手法であるLoRA(Attentional Mixture of LoRAs, AM-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-09-29T08:34:54Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
  LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。 LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。 我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-20T02:59:18Z)
• DyLoRA: Parameter Efficient Tuning of Pre-trained Models using Dynamic Search-Free Low-Rank Adaptation [18.922066770467914]
  ローランクアダプタ(LoRA)は、モデルの主要なトレーニング済み重量を凍結させ、学習可能なSVDモジュールをモデルに導入する。 LoRAブロックはパラメータ効率が高いが、2つの大きな問題に悩まされている。 これら2つの問題を解決するために,動的低ランク適応(DyLoRA)技術を導入する。
  論文  参考訳（メタデータ） (2022-10-14T06:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。