論文の概要: Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters
- arxiv url: http://arxiv.org/abs/2407.16712v1
- Date: Mon, 22 Jul 2024 22:46:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 17:52:45.641089
- Title: Rapid Switching and Multi-Adapter Fusion via Sparse High Rank Adapters
- Title(参考訳): Sparse High Rank Adaptersによる高速スイッチングとマルチアダプタフュージョン
- Authors: Kartikeya Bhardwaj, Nilesh Prasad Pandey, Sweta Priyadarshi, Viswanath Ganapathy, Rafael Esteves, Shreya Kadambi, Shubhankar Borse, Paul Whatmough, Risheek Garrepalli, Mart Van Baalen, Harris Teague, Markus Nagel,
- Abstract要約: 本稿では,標準モデルの重量の1-2%を直接微調整し,その他をそのまま残すSparse High Rank Adapters (SHiRA)を提案する。
この高分散性は、推論オーバーヘッドを発生させることなく、融合モードで直接切り替えることを可能にし、マルチアダプタ融合時の概念損失を著しく低減する。
- 参考スコア(独自算出の注目度): 16.160749645651567
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we propose Sparse High Rank Adapters (SHiRA) that directly finetune 1-2% of the base model weights while leaving others unchanged, thus, resulting in a highly sparse adapter. This high sparsity incurs no inference overhead, enables rapid switching directly in the fused mode, and significantly reduces concept-loss during multi-adapter fusion. Our extensive experiments on LVMs and LLMs demonstrate that finetuning merely 1-2% parameters in the base model is sufficient for many adapter tasks and significantly outperforms Low Rank Adaptation (LoRA). We also show that SHiRA is orthogonal to advanced LoRA methods such as DoRA and can be easily combined with existing techniques.
- Abstract(参考訳): 本稿では,Sparse High Rank Adapters (SHiRA)を提案する。
この高分散性は、推論オーバーヘッドを発生させることなく、融合モードで直接切り替えることを可能にし、マルチアダプタ融合時の概念損失を著しく低減する。
LVM と LLM に関する広範な実験により、基礎モデルの1-2% しかパラメータを微調整するだけで、多くのアダプタタスクに十分であり、ローランク適応 (LoRA) を著しく上回っていることが示された。
また、SHiRAはDoRAのような先進的なLoRA手法と直交しており、既存の手法と容易に組み合わせることができることを示す。
関連論文リスト
- Hadamard Adapter: An Extreme Parameter-Efficient Adapter Tuning Method for Pre-trained Language Models [108.08773541490191]
事前訓練された言語モデル(PLM)は大量のパラメータを持ち、微調整は高価で時間を要することが多い。
ダウンストリームタスクにおける性能を損なうことなく、微調整時にPLMのパラメータを減らすためのパラメータ効率のアプローチを採用する必要がある。
本稿では, PLMにおける自己注意出力のみに作用する新しいアダプタを設計する。
論文 参考訳(メタデータ) (2024-07-04T18:21:28Z) - Sparse High Rank Adapters [16.160749645651567]
ローランク適応(LoRA)は、最近の生成AI研究で大きな注目を集めている。
提案するSparse High Rank Adapters (SHiRA) は,推論オーバーヘッドを伴わず,高速な切り替えが可能で,概念の損失を大幅に低減する新しいパラダイムである。
論文 参考訳(メタデータ) (2024-06-19T03:13:11Z) - LoRA-Switch: Boosting the Efficiency of Dynamic LLM Adapters via System-Algorithm Co-design [23.874726096958135]
動的アダプタのきめ細かいコストを分析し、断片化されたカーネル呼び出しが根本原因であることを確かめる。
レイヤワイドまたはブロックワイドな動的ルーティングを採用する既存の動的構造とは異なり、LoRA-Switchはトークンワイドなルーティング機構を導入している。
効率を上げるために、このスイッチングは最適化されたカーネルで実装され、同時にすべてのLoRAアダプタの操作を融合させる。
論文 参考訳(メタデータ) (2024-05-28T01:53:26Z) - MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models [4.978361907192563]
大規模言語モデル(LLM)用に設計されたスケーラブルなマルチ知識LoRA融合フレームワークであるMeteoRAを紹介する。
MeteoRAは様々なLoRAアダプタをMixture-of-Experts (MoE)スタイルのベースLLMに統合し、モデルがタスク入力に基づいて関連するアダプタを自動的に選択できるようにする。
LlaMA2-13B と LlaMA3-8B ベースモデルに既製の 28 個の LoRA アダプタを MeteoRA 経由で搭載し,各アダプタと同等の性能を示した。
論文 参考訳(メタデータ) (2024-05-19T20:46:07Z) - A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA [0.7252027234425334]
PEFTの一般的な手法はLoRA(Lo-Rank Adapters)であり、選択した層にトレーニング可能な低ランクの"アダプタ"を追加する。
このスケーリング係数は、アダプタをランクの要素で分割するので、ローラの学習が遅くなり、上位のアダプタでスタントのパフォーマンスが低下する。
我々はLoRAを適切なスケーリング係数で修正し、微調整の計算/性能トレードオフを容易に提供します。
論文 参考訳(メタデータ) (2023-11-28T03:23:20Z) - LCM-LoRA: A Universal Stable-Diffusion Acceleration Module [52.8517132452467]
LCM(Latent Consistency Models)は、テキストから画像への生成タスクの高速化において、優れたパフォーマンスを実現している。
本報告はLRA蒸留を大型の安定拡散モデルに適用することによりLCMの可能性をさらに拡張する。
LCM蒸留により得られたLoRAパラメータを LCM-LoRA という汎用安定拡散加速モジュールとして同定した。
論文 参考訳(メタデータ) (2023-11-09T18:04:15Z) - S-LoRA: Serving Thousands of Concurrent LoRA Adapters [59.490751234925206]
パラメータ効率のよい微調整法であるLoRA(Lo-Rank Adaptation)は、ベースモデルを複数のタスクに適応させるためによく用いられる。
本稿では,多数のLoRAアダプタのスケーラブルな提供を目的としたシステムであるS-LoRAを提案する。
論文 参考訳(メタデータ) (2023-11-06T17:26:17Z) - MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。
2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
論文 参考訳(メタデータ) (2023-08-30T12:10:17Z) - LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of
Large Language Models [75.25782573728677]
本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。
このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。
本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
論文 参考訳(メタデータ) (2023-04-04T16:31:37Z) - AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large
Language Models [119.7093605087114]
大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。
これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。
パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
論文 参考訳(メタデータ) (2022-05-24T23:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。