Fugu-MT 論文翻訳(概要): CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models

論文の概要: CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models

arxiv url: http://arxiv.org/abs/2502.01378v1
Date: Mon, 03 Feb 2025 14:15:33 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 14:57:55.630890
Title: CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
Title（参考訳）: CE-LoRA:言語モデルのための計算効率の良いLoRAファインチューニング
Authors: Guanduo Chen, Yutong He, Yipeng Hu, Kun Yuan, Binhang Yuan,
Abstract要約: Low-Rank Adaptation (LoRA)は、微調整時のメモリ消費を大幅に軽減する。本稿では,メモリ効率を保ちながら計算効率を向上する計算効率LoRA(CE-LoRA)アルゴリズムを提案する。実証評価の結果,CE-LoRAは性能劣化のないLoRAと比較して計算コストを著しく削減することがわかった。
参考スコア（独自算出の注目度）: 17.62669194767711
License:
Abstract: Large Language Models (LLMs) demonstrate exceptional performance across various tasks but demand substantial computational resources even for fine-tuning computation. Although Low-Rank Adaptation (LoRA) significantly alleviates memory consumption during fine-tuning, its impact on computational cost reduction is limited. This paper identifies the computation of activation gradients as the primary bottleneck in LoRA's backward propagation and introduces the Computation-Efficient LoRA (CE-LoRA) algorithm, which enhances computational efficiency while preserving memory efficiency. CE-LoRA leverages two key techniques: Approximated Matrix Multiplication, which replaces dense multiplications of large and complete matrices with sparse multiplications involving only critical rows and columns, and the Double-LoRA technique, which reduces error propagation in activation gradients. Theoretically, CE-LoRA converges at the same rate as LoRA, $ \mathcal{O}(1/\sqrt{T}) $, where $T$ is the number of iteartions. Empirical evaluations confirm that CE-LoRA significantly reduces computational costs compared to LoRA without notable performance degradation.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる優れた性能を示すが、微調整の計算にもかなりの計算資源を必要とする。低ランク適応(LoRA)は微調整時のメモリ消費を著しく軽減するが、計算コスト削減への影響は限定的である。本稿では,LoRAの後方伝播における主要なボトルネックとして,アクティベーション勾配の計算を同定し,メモリ効率を保ちながら計算効率を向上する計算効率LoRA(CE-LoRA)アルゴリズムを提案する。 CE-LoRAは、大きな行列と完全な行列の密乗法を、臨界列と列のみを含むスパース乗法に置き換える近似行列乗法と、アクティベーション勾配におけるエラー伝播を低減するダブルロラ法という2つの主要な手法を利用する。理論的には、CE-LoRA は LoRA, $ \mathcal{O}(1/\sqrt{T}) $ と同じ速度で収束する。実証評価の結果,CE-LoRAは性能劣化のないLoRAと比較して計算コストを著しく削減することがわかった。

関連論文リスト

BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文参考訳（メタデータ） (2025-02-19T10:33:22Z)
LoRS: Efficient Low-Rank Adaptation for Sparse Large Language Model [21.98687961440789]
既存のローランク適応法 (LoRA) は、スパース大言語モデル (LLM) においてスパーシティを維持できないため、課題に直面している。近年の研究では、LoRAテクニックをマスク機構を追加して拡張することで、空間性を維持する手法が導入されている。 LLMを微調整する際のメモリ効率と計算効率を両立させる革新的な手法であるLoRSを導入する。
論文参考訳（メタデータ） (2025-01-15T05:07:06Z)
GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文参考訳（メタデータ） (2024-12-12T13:04:54Z)
LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文参考訳（メタデータ） (2024-10-27T22:57:12Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
論文参考訳（メタデータ） (2024-08-31T12:48:27Z)
LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
論文参考訳（メタデータ） (2024-07-25T17:57:12Z)
Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
論文参考訳（メタデータ） (2024-03-18T23:20:08Z)
Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文参考訳（メタデータ） (2024-01-08T14:26:49Z)
Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
論文参考訳（メタデータ） (2023-12-06T10:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。