論文の概要: SiRA: Sparse Mixture of Low Rank Adaptation
- arxiv url: http://arxiv.org/abs/2311.09179v1
- Date: Wed, 15 Nov 2023 18:15:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 14:39:34.788858
- Title: SiRA: Sparse Mixture of Low Rank Adaptation
- Title(参考訳): SiRA: 低ランク適応のスパース混合
- Authors: Yun Zhu, Nevan Wichers, Chu-Cheng Lin, Xinyi Wang, Tianlong Chen, Lei
Shu, Han Lu, Canoee Liu, Liangchen Luo, Jindong Chen, Lei Meng
- Abstract要約: 我々は「スパース」計算を活用することの重要性について検討し、低ランクのスパース混合SiRAを提案する。
具体的には、各専門家が処理できるトークンの最大数を制限するキャパシティ制限付きの、トップ$k$のエキスパートルーティングを強制する。
- 参考スコア(独自算出の注目度): 63.926732717719354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter Efficient Tuning has been an prominent approach to adapt the Large
Language Model to downstream tasks. Most previous works considers adding the
dense trainable parameters, where all parameters are used to adapt certain
task. We found this less effective empirically using the example of LoRA that
introducing more trainable parameters does not help. Motivated by this we
investigate the importance of leveraging "sparse" computation and propose SiRA:
sparse mixture of low rank adaption. SiRA leverages the Sparse Mixture of
Expert(SMoE) to boost the performance of LoRA. Specifically it enforces the top
$k$ experts routing with a capacity limit restricting the maximum number of
tokens each expert can process. We propose a novel and simple expert dropout on
top of gating network to reduce the over-fitting issue. Through extensive
experiments, we verify SiRA performs better than LoRA and other mixture of
expert approaches across different single tasks and multitask settings.
- Abstract(参考訳): パラメータ効率のよいチューニングは、下流タスクに大規模言語モデルを適用するための顕著なアプローチである。
以前のほとんどの作業では、すべてのパラメータが特定のタスクに適応するために使用される、高密度なトレーニング可能なパラメータの追加を検討していた。
よりトレーニング可能なパラメータを導入しても役に立たない,というLoRAの例を例に挙げた。
そこで本研究では,「スパース」計算の活用の重要性を考察し,低ランク適応のスパース混合を提案する。
SiRAはSmoE(Sparse Mixture of Expert)を活用してLoRAの性能を向上させる。
具体的には、各専門家が処理できるトークンの最大数を制限するキャパシティ制限付きの、トップ$k$専門家ルーティングを強制する。
本稿では,ゲーティングネットワーク上に新たな,かつシンプルな専門家によるドロップアウトを提案する。
広範囲な実験を通じて、SiRAはLoRAや、異なる単一タスクとマルチタスク設定をまたいだ他の専門家アプローチよりも優れた性能を示す。
関連論文リスト
- LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning [31.088229461632206]
微調整作業におけるローランド適応 (LoRA) の層間特性について検討し, 異なる層にまたがる重みノルムの非一般的な歪さを観察する。
私たちはLayerwise Importance Sampled AdamW (LISA)と名付けました。
論文 参考訳(メタデータ) (2024-03-26T17:55:02Z) - Personalized LoRA for Human-Centered Text Understanding [15.704545145736676]
HCTUタスクのためのプラグイン・アンド・プレイ・フレームワークを備えたパーソナライズされたLoRA(PLoRA)を紹介する。
PLORAは、PLMに効果的で、パラメータ効率が高く、動的にデプロイする。
4つのベンチマークデータセットを用いて行った実験により,提案手法は実時間/実時間/ゼロショットの学習シナリオにおいて,既存の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-03-10T13:04:54Z) - ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。
提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。
NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2024-02-28T04:33:20Z) - Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [74.58403497789422]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。
我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。
実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文 参考訳(メタデータ) (2024-02-27T07:14:12Z) - MoELoRA: Contrastive Learning Guided Mixture of Experts on
Parameter-Efficient Fine-Tuning for Large Language Models [24.17147521556083]
本稿では,新しいPEFT手法であるMoELoRAを紹介する。
数学推論と常識推論のベンチマークにおいて,11のタスクについて実験を行った。
MoELoRAはLoRAよりも4.2%高い平均性能を達成し、いくつかのベンチマークで175B GPT-3.5と比較して競争性能を示した。
論文 参考訳(メタデータ) (2024-02-20T09:30:48Z) - LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative
Tasks [72.88244322513039]
LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。
動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。
6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
論文 参考訳(メタデータ) (2024-02-18T04:41:25Z) - DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。
DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
DoRAは、微調整のLLaMA、LLaVA、VL-BARTにおいて、一貫してLoRAを上回っている。
論文 参考訳(メタデータ) (2024-02-14T17:59:34Z) - MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。
LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。
我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文 参考訳(メタデータ) (2023-11-20T02:59:18Z) - MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for
Multi-task Medical Applications [60.218266928939606]
我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良いファインチューニングフレームワークを提案する。
MOEとLoRAを統一するために、私たちは複数の専門家をトレーニング可能なパラメータとして考えました。
実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-21T17:18:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。