Fugu-MT 論文翻訳(概要): MoS: Unleashing Parameter Efficiency of Low-Rank Adaptation with Mixture of Shards

論文の概要: MoS: Unleashing Parameter Efficiency of Low-Rank Adaptation with Mixture of Shards

arxiv url: http://arxiv.org/abs/2410.00938v1
Date: Tue, 1 Oct 2024 07:47:03 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 00:09:47.549506
Title: MoS: Unleashing Parameter Efficiency of Low-Rank Adaptation with Mixture of Shards
Title（参考訳）: MoS:Shardの混合による低ランク適応の解離パラメータ効率
Authors: Sheng Wang, Liheng Chen, Pengan Chen, Jingwei Dong, Boyang Xue, Jiyue Jiang, Lingpeng Kong, Chuan Wu,
Abstract要約: 大規模言語モデルの迅速なスケーリングには、爆発的なGPUメモリオーバーヘッドを低減するために、より軽量な微調整方法が必要である。本研究は、純粋な共有による有害な影響を逆転させる上で、差別化が不可欠であることを示す。本研究では,層間共有と層間共有を併用し,ほぼ費用がかからない4つの差別戦略を統合することで,Shardsの混合(MoS)を提案する。
参考スコア（独自算出の注目度）: 35.163843138935455
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The rapid scaling of large language models necessitates more lightweight finetuning methods to reduce the explosive GPU memory overhead when numerous customized models are served simultaneously. Targeting more parameter-efficient low-rank adaptation (LoRA), parameter sharing presents a promising solution. Empirically, our research into high-level sharing principles highlights the indispensable role of differentiation in reversing the detrimental effects of pure sharing. Guided by this finding, we propose Mixture of Shards (MoS), incorporating both inter-layer and intra-layer sharing schemes, and integrating four nearly cost-free differentiation strategies, namely subset selection, pair dissociation, vector sharding, and shard privatization. Briefly, it selects a designated number of shards from global pools with a Mixture-of-Experts (MoE)-like routing mechanism before sequentially concatenating them to low-rank matrices. Hence, it retains all the advantages of LoRA while offering enhanced parameter efficiency, and effectively circumvents the drawbacks of peer parameter-sharing methods. Our empirical experiments demonstrate approximately 8x parameter savings in a standard LoRA setting. The ablation study confirms the significance of each component. Our insights into parameter sharing and MoS method may illuminate future developments of more parameter-efficient finetuning methods.
Abstract（参考訳）: 大規模言語モデルの迅速なスケーリングは、多数のカスタマイズされたモデルが同時に提供される場合に、爆発的なGPUメモリオーバーヘッドを低減するために、より軽量な微調整方法を必要とする。パラメータ効率の低いローランク適応(LoRA)を目標とすると、パラメータ共有は有望な解決策となる。実証的に、我々のハイレベルな共有原則に関する研究は、純粋な共有の有害な影響を逆転させる上で、差別化が欠かせない役割を浮き彫りにしている。この発見に導かれ、我々は層間共有と層間共有の両方を導入し、サブセット選択、ペア解離、ベクトルシャーディング、シャード民営化の4つのほとんど費用のかかる差別戦略を統合することで、Shardsの混合(MoS)を提案する。簡単に言えば、Mixture-of-Experts(MoE)のようなルーティング機構でグローバルプールから指定されたシャード数を選択し、その後、それらを低ランク行列に順次結合する。したがって、LoRAのすべての利点を保ちながらパラメータ効率を向上し、ピアパラメータ共有手法の欠点を効果的に回避する。実験では,標準のLoRA設定で約8倍のパラメータセーブを実証した。アブレーション研究は各成分の意義を裏付けるものである。パラメータ共有法とMoS法に関する我々の知見は、よりパラメータ効率の良い微調整法の将来的な発展を照らし出す可能性がある。

関連論文リスト

ASLoRA: Adaptive Sharing Low-Rank Adaptation Across Layers [37.77593687901923]
ASLoRAはグローバル共有と部分適応共有を組み合わせた多層パラメータ共有戦略である。我々は様々なNLPタスクの実験を行い、パラメータの25%未満を使用しながら、ASLoRAがLoRAより優れていることを示した。
論文参考訳（メタデータ） (2024-12-13T13:32:13Z)
ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文参考訳（メタデータ） (2024-12-11T12:31:30Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
LLMEmb: Large Language Model Can Be a Good Embedding Generator for Sequential Recommendation [57.49045064294086]
大きな言語モデル(LLM)は、その人気とは無関係に、アイテム間の意味的関係をキャプチャする能力を持つ。 LLMEmb(LLMEmb)は、LCMを利用してアイテム埋め込みを生成し、逐次レコメンダシステム(SRS)の性能を向上させる手法である。
論文参考訳（メタデータ） (2024-09-30T03:59:06Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks [10.266224162377371]
ローランク適応(LoRA)とその派生型は、かなりのストレージと送信コストを発生させる。我々は,行列次元,モジュール,レイヤ間の低ランク分解の障壁を断ち切る「分割共有」パラダイムを導入する。 VB-LoRAは、最先端PEFT法と比較して、同等または優れた性能を維持しながら、極端なパラメータ効率を達成する。
論文参考訳（メタデータ） (2024-05-24T03:24:34Z)
MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文参考訳（メタデータ） (2024-02-27T07:14:12Z)
LoRA Meets Dropout under a Unified Framework [38.5176197615878]
大規模言語モデル(LLM)は、多くのNLPアプリケーションにおいて重要な要素として現れている。様々なドロップアウト手法は、当初は全てのパラメータを更新した完全な微調整のために設計されていたが、過剰なパラメータ冗長性に関連する過度な適合を緩和した。我々は,これらの手法を,落下位置,構造パターン,補償基準に基づいてインスタンス化する総合的な調査のための統一的な枠組みを導入する。
論文参考訳（メタデータ） (2024-02-25T07:09:10Z)
PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [45.38491644250814]
部分回転型低ランク適応(PRoLoRA)は層内共有機構である。 PRoLoRAはその利点を保ち、ピアパラメータ共有手法の欠点を効果的に回避する。実験によりPRoLoRAのパラメータ効率が著しく向上した。
論文参考訳（メタデータ） (2024-02-24T13:39:05Z)
Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文参考訳（メタデータ） (2023-11-28T11:23:34Z)
IncreLoRA: Incremental Parameter Allocation Method for Parameter-Efficient Fine-tuning [15.964205804768163]
IncreLoRAは、トレーニング中にトレーニング可能なパラメータを適応的に追加するインクリメンタルパラメータ割り当て手法である。我々は,IncreLoRAの有効性を示すため,GLUEの広範な実験を行った。
論文参考訳（メタデータ） (2023-08-23T10:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。