論文の概要: DiSHA: Dimension-Sharding Adaptation of Large Language Models with Fast Convergence and Fast Computation

• arxiv url: http://arxiv.org/abs/2409.15371v7
• Date: Tue, 28 Jan 2025 09:15:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 15:55:56.594313
• Title: DiSHA: Dimension-Sharding Adaptation of Large Language Models with Fast Convergence and Fast Computation
• Title（参考訳）: DiSHA: 高速収束と高速計算による大規模言語モデルの次元シャーディング適応
• Authors: Jiale Kang,
• Abstract要約: 本稿では, PEFT設計空間をより少ないトレーニングパラメータに拡張し, より高速な収束を実現する Dimension-Sharding Adaptation (DiSHA) を提案する。 提案するBlock Affine Efficient Computation (Bone)は,高い性能と効率性を実現する計算効率の高い構造である。 実証的な結果から、BoneはDiSHAフレームワークの下で、自然言語理解タスクと自然言語生成タスクの両方において、LoRAの亜種を一貫して上回ります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA), a prominent technique within the framework of Parameter-Efficient Fine-Tuning (PEFT), efficiently reduces the computational burden associated with adapting Large Language Models (LLMs) to downstream tasks, thereby enabling resource-constrained fine-tuning. However, existing researches have shown that LoRA suffers from slow convergence. To address this limitation, we introduce Dimension-Sharding Adaptation (DiSHA), which expands the PEFT design space to even fewer trainable parameters and faster convergence. Within DiSHA's design space, we propose Block Affine Efficient Computation (Bone), a computationally efficient structure that delivers both high performance and efficiency. While certain DiSHA configurations may result in colinear updates to weight shards, we address this with Block Affine Transformation (Bat), a nonlinear variant of DiSHA. Bat introduces nonlinearity by combining trainable matrices with original weight shards in a nonlinear manner, inducing nonlinearity in matrix updates without introducing additional parameters. Empirical results show that Bone, under the DiSHA framework, consistently outperforms LoRA variants in both Natural Language Understanding and Natural Language Generation tasks, with significantly improved computational efficiency. Further analysis demonstrates that BAT enhances model capabilities by leveraging its nonlinear design.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、パラメータ効率の良いファインチューニング(PEFT)の枠組みにおいて、下流タスクへのLLM(Large Language Models)の適用に伴う計算負担を効率的に削減し、リソース制約のある微調整を可能にする。 しかし、既存の研究では、LoRAが緩やかな収束に苦しむことが示されている。 この制限に対処するために, PEFT設計空間をより少ないトレーニングパラメータに拡張し, より高速な収束を実現する Dimension-Sharding Adaptation (DiSHA) を導入する。 提案するBlock Affine Efficient Computation (Bone)は,高い性能と効率性を実現する計算効率の高い構造である。 ある種のDiSHA構成は重み付けに対するコリニアな更新をもたらすかもしれないが、これをDiSHAの非線形変種であるBlock Affine Transformation (Bat)で解決する。 バットはトレーニング可能な行列と元の重み付けを非線形に組み合わせて非線形性を導入し、追加パラメータを導入することなく行列更新において非線形性を誘導する。 実証的な結果から、BruceはDiSHAフレームワークの下で、自然言語理解タスクと自然言語生成タスクの両方においてLoRAの変種を一貫して上回り、計算効率は大幅に向上した。 さらなる分析により、BATはその非線形設計を活用してモデル能力を向上させることが示されている。

関連論文リスト

• Sliding Window Attention Training for Efficient Large Language Models [55.56483740523027]
  SWATを導入し,スライディングウインドウ・アテンション・トレーニング(Sliding Window Attention Training)により,より効率的な長文処理を実現する。 本稿では,まず,変圧器の非効率性について,ソフトマックス動作のばらつきから生じる注意シンク現象を考察する。 実験により、SWATは8つのベンチマーク上での最先端の線形リカレントアーキテクチャと比較してSOTA性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-02-26T05:31:44Z)
• Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment [20.382810396966473]
  Low-Rank Adaptation (LoRA)は、Large Language Models (LLM) のためのパラメータ効率の良い微調整を可能にする 現在の手法は静的特異値分解サブセットを初期化することでLoRAを最適化し、事前学習された知識を最適に活用する。 我々はLunderlineoRunderlineA Mixture-of-Experunderlinet (GOAT)を提案する。 GOATはSVD構造化MoEを用いて関連する事前情報を統合し、理論スケーリング係数を導出して最適化を完全微調整MoEと整合させる
  論文  参考訳（メタデータ） (2025-02-24T06:48:13Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
  IntLoRAを提案し、整数型(INT)低ランクパラメータを用いて効率限界を押し上げ、量子化拡散モデルに適応させる。 IntLoRAには3つの大きな利点がある: (i) 微調整の場合、事前トレーニングされた重みは量子化され、メモリ使用量が減少する (ii) ストレージの場合、事前トレーニングされた重みと低ランクの重みの両方が、ディスクスペースを少なく消費するINT内にある; (iii) 推論の場合、IntLoRA重みは、効率的な整数乗算やビットシフトによって自然に量子化された事前トレーニングされた重みにマージできる。
  論文  参考訳（メタデータ） (2024-10-29T05:50:17Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning [9.91790333647256]
  低ランク適応法(LoRA)とその混合実験法(MOE)は,高効率なパラメータ効率微調整法(PEFT)である。 新規かつ効率的なLoRA変種であるMiLoRAを提案する。 MiLoRAは、各LoRAモジュールを専門家として考慮し、プロンプト対応のルーティング機構を採用することで、従来のMOEスタイルのLoRAメソッドと異なる。
  論文  参考訳（メタデータ） (2024-10-23T17:04:40Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。 本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。 理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
  本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。 本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-07T15:37:13Z)
• Compressible Dynamics in Deep Overparameterized Low-Rank Learning & Adaptation [12.07880147193174]
  モデルパラメータ内のデータと圧縮可能な力学の固有な低次元構造を利用することで、計算負担を伴わずにパラメータ化の利点を享受できることが示される。 提案手法は,低ランク行列と微調整言語モデルに対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T14:29:49Z)
• OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models [0.0]
  Low-Rank Adaptation (LoRA)はこれらの問題を緩和するための有望な方法として登場した。 OLoRAはLLMトレーニングの収束を著しく加速する。 OLoRAは、様々な言語モデリングタスクで標準のLoRAよりもパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-06-03T20:37:27Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。