論文の概要: LoRS: Efficient Low-Rank Adaptation for Sparse Large Language Model

• arxiv url: http://arxiv.org/abs/2501.08582v1
• Date: Wed, 15 Jan 2025 05:07:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:52:45.792876
• Title: LoRS: Efficient Low-Rank Adaptation for Sparse Large Language Model
• Title（参考訳）: LoRS: 疎大言語モデルのための効率的な低ランク適応
• Authors: Yuxuan Hu, Jing Zhang, Xiaodong Chen, Zhe Zhao, Cuiping Li, Hong Chen,
• Abstract要約: 既存のローランク適応法 (LoRA) は、スパース大言語モデル (LLM) においてスパーシティを維持できないため、課題に直面している。 近年の研究では、LoRAテクニックをマスク機構を追加して拡張することで、空間性を維持する手法が導入されている。 LLMを微調整する際のメモリ効率と計算効率を両立させる革新的な手法であるLoRSを導入する。
• 参考スコア（独自算出の注目度）: 21.98687961440789
• License:
• Abstract: Existing low-rank adaptation (LoRA) methods face challenges on sparse large language models (LLMs) due to the inability to maintain sparsity. Recent works introduced methods that maintain sparsity by augmenting LoRA techniques with additional masking mechanisms. Despite these successes, such approaches suffer from an increased memory and computation overhead, which affects efficiency of LoRA methods. In response to this limitation, we introduce LoRS, an innovative method designed to achieve both memory and computation efficiency when fine-tuning sparse LLMs. To mitigate the substantial memory and computation demands associated with preserving sparsity, our approach incorporates strategies of weight recompute and computational graph rearrangement. In addition, we also improve the effectiveness of LoRS through better adapter initialization. These innovations lead to a notable reduction in memory and computation consumption during the fine-tuning phase, all while achieving performance levels that outperform existing LoRA approaches.
• Abstract（参考訳）: 既存のローランク適応法 (LoRA) は、スパース大言語モデル (LLM) においてスパーシティを維持できないため、課題に直面している。 近年の研究では、LoRAテクニックをマスク機構を追加して拡張することで、空間性を維持する手法が導入されている。 これらの成功にもかかわらず、このようなアプローチはメモリと計算オーバーヘッドの増大に悩まされ、LoRAメソッドの効率に影響を及ぼす。 この制限に応えて、我々は、微調整されたスパースLLMにおいて、メモリと計算効率の両方を達成するために設計された革新的な方法であるLoRSを導入する。 そこで本研究では,重み計算と計算グラフ再構成の戦略を取り入れた。 さらに,アダプタの初期化の改善により,LoRSの有効性も向上する。 これらのイノベーションは、既存のLoRAアプローチを上回るパフォーマンスレベルを達成する一方で、微調整フェーズにおけるメモリと計算消費の大幅な削減につながります。

関連論文リスト

• LoRA-Mini : Adaptation Matrices Decomposition and Selective Training [2.0670689746336]
  Low-Rank Adaptation (LoRA)は、トレーニング可能なパラメータの数を減らし、パラメータ効率の良い微調整を可能にする、有望なソリューションとして登場した。 低ランク行列を4つに分割することでパラメータ効率を向上させるLoRAを最適化したLoRA-Miniを提案する。 このアプローチは、標準のLoRAに匹敵するパフォーマンスレベルを維持しながら、トレーニング可能なパラメータの数に対して、標準のLoRAと比較して最大20倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-11-24T12:21:14Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• GeoLoRA: Geometric integration for parameter efficient fine-tuning [6.701651480567394]
  Low-Rank Adaptation (LoRA) は、事前学習されたニューラルネットワークのパラメータ効率の高い微調整法として広く使われている。 動的低ランク近似理論を応用した新しいアプローチであるGeoLoRAを導入する。 その結果,GeoLoRAの精度と計算効率の両面において既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T13:26:10Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach [10.980433187379868]
  低ランク適応(LoRA)は、良好な微調整結果を維持しつつ、資源消費を減らすために開発された。 本稿では,LoRA法により近似された行列更新の本質的な次元について検討し,本質的な次元を増大させることによる性能上の利点を明らかにする。
  論文  参考訳（メタデータ） (2024-07-16T15:26:31Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models [0.0]
  Low-Rank Adaptation (LoRA)はこれらの問題を緩和するための有望な方法として登場した。 OLoRAはLLMトレーニングの収束を著しく加速する。 OLoRAは、様々な言語モデリングタスクで標準のLoRAよりもパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2024-06-03T20:37:27Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。