論文の概要: Flora: Low-Rank Adapters Are Secretly Gradient Compressors

• arxiv url: http://arxiv.org/abs/2402.03293v2
• Date: Wed, 12 Jun 2024 22:17:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-14 23:55:19.890611
• Title: Flora: Low-Rank Adapters Are Secretly Gradient Compressors
• Title（参考訳）: フロラ:低ランクのアダプターは秘かにグラディエント圧縮機
• Authors: Yongchang Hao, Yanshuai Cao, Lili Mou,
• Abstract要約: 低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。 本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
• 参考スコア（独自算出の注目度）: 30.224822087562163
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite large neural networks demonstrating remarkable abilities to complete different tasks, they require excessive memory usage to store the optimization states for training. To alleviate this, the low-rank adaptation (LoRA) is proposed to reduce the optimization states by training fewer parameters. However, LoRA restricts overall weight update matrices to be low-rank, limiting the model performance. In this work, we investigate the dynamics of LoRA and identify that it can be approximated by a random projection. Based on this observation, we propose Flora, which is able to achieve high-rank updates by resampling the projection matrices while enjoying the sublinear space complexity of optimization states. We conduct experiments across different tasks and model architectures to verify the effectiveness of our approach.
• Abstract（参考訳）: 大きなニューラルネットワークは、異なるタスクを完了させる顕著な能力を示すが、トレーニングのための最適化状態を格納するためには、過剰なメモリ使用が必要である。 これを軽減するために、低ランク適応(LoRA)を提案し、少ないパラメータをトレーニングすることで最適化状態を削減する。 しかし、LoRAは全体の重量更新行列を低ランクに制限し、モデルの性能を制限している。 本研究では,LoRAの動力学を考察し,ランダムな投影によって近似できることを示す。 この観測に基づいて,最適化状態の線形空間の複雑さを享受しながら,投影行列を再サンプリングすることにより,高次更新を達成できるFloraを提案する。 さまざまなタスクやモデルアーキテクチャにまたがって実験を行い、アプローチの有効性を検証する。

関連論文リスト

• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning [32.55713482636133]
  低ランク適応(LoRA)はこのコストを、低次元の部分空間に重み付けすることで効果的に削減する。 この貢献は、連続する低ランクインクリメントからのハイランクウェイト更新を徐々に蓄積することで、これらの制限を扱う。 再起動することなく効率よくシームレスな最適化を実現するために、この最適な選択は、元の低ランク行列の列を適切にスケーリングすることによって形成される。
  論文  参考訳（メタデータ） (2025-10-27T19:59:46Z)
• Sensitivity-LoRA: Low-Load Sensitivity-Based Fine-Tuning for Large Language Models [26.046100835887525]
  Low-Rank Adaptation (LoRA) はLarge Language Models (LLM) に対する有望なアプローチとして登場し、低ランク分解を用いたモデルの重み付けを近似している。 本稿では,グローバルな感度と局所的な感度の両方に基づいて,動的にランクを重み行列に割り当てる,効率的な微調整法であるSensitivity-LoRAを提案する。 実験により,各種タスクおよびベンチマークにおける感度-LORAの有効性,効率,安定性が示された。
  論文  参考訳（メタデータ） (2025-09-11T03:07:05Z)
• TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree [52.44403214958304]
  本稿では階層的な勾配の類似性を利用して階層型アダプタを構築する新しい手法であるTreeLoRAを紹介する。 タスク類似度推定の計算負担を軽減するために,より低い信頼度境界に基づくアルゴリズムを開発するために,バンド手法を用いる。 視覚変換器 (ViTs) と大規模言語モデル (LLMs) の両方を用いた実験により, 提案手法の有効性と有効性を示す。
  論文  参考訳（メタデータ） (2025-06-12T05:25:35Z)
• RandLoRA: Full-rank parameter-efficient fine-tuning of large models [46.25124374446935]
  Low-Rank Adaptation (LoRA)とその変種は、大きなトランスフォーマーネットワークのトレーニング可能なパラメータとメモリ要求の数を削減した。 ウェイト更新の低ランクの性質は、本質的に微調整されたモデルの表現力を制限している。 本稿では、低ランクで非学習可能なランダム行列の線形結合を用いて、フルランク更新を行うRandLoRAを提案する。
  論文  参考訳（メタデータ） (2025-02-03T01:59:45Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning [13.823795660384262]
  低ランク部分空間内での完全な微調整を近似するLoRA Silver BulletあるいはLoRA-SBを提案する。 これらの結果から,低ランク部分空間において,性能を犠牲にすることなく完全な微調整をシミュレートできることが示唆された。
  論文  参考訳（メタデータ） (2024-11-29T09:10:30Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、下流タスクのための大規模な事前学習モデルに効果的に適応する、PEFT (Efficient Fine Tuning) 手法として人気がある。 モデル更新に低階テンソルパラメトリゼーションを用いる新しい手法を提案する。 提案手法は,大規模言語モデルの微調整に有効であり,比較性能を維持しつつ,パラメータ数の大幅な削減を実現している。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Flat-LoRA: Low-Rank Adaption over a Flat Loss Landscape [52.98187034726091]
  Low-Rank Adaptation (LoRA) は低ランク行列のみを最適化することでモデルを微調整する効率的な方法である。 ロラ空間に平坦に見える解は、全パラメータ空間に鋭い方向が存在し、一般化性能を損なう可能性がある。 フルパラメータ空間の平坦領域に位置する低ランク適応を求める効率的なアプローチであるFlat-LoRAを提案する。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• Compressible Dynamics in Deep Overparameterized Low-Rank Learning & Adaptation [12.07880147193174]
  モデルパラメータ内のデータと圧縮可能な力学の固有な低次元構造を利用することで、計算負担を伴わずにパラメータ化の利点を享受できることが示される。 提案手法は,低ランク行列と微調整言語モデルに対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T14:29:49Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
  LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。 本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。 実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
  論文  参考訳（メタデータ） (2023-12-06T10:54:34Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。