論文の概要: MAP: Revisiting Weight Decomposition for Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2505.23094v1
• Date: Thu, 29 May 2025 04:56:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.684266
• Title: MAP: Revisiting Weight Decomposition for Low-Rank Adaptation
• Title（参考訳）: MAP:低ランク適応のための重み分解の再検討
• Authors: Chongjie Si, Zhiyi Shi, Yadao Wang, Xiaokang Yang, Susanto Rahardja, Wei Shen,
• Abstract要約: 本稿では,重みベクトルを高次元ベクトルとして再構成する新しいフレームワークMAPを提案する。 MAPはトレーニング済みの重量を正規化し、方向の更新と2つのスカラー係数を学習し、ベースの大きさを独立にスケールし、ベクトルを更新する。 この設計により、より解釈可能で柔軟な適応が可能となり、既存のPEFTメソッドにシームレスに統合できる。
• 参考スコア（独自算出の注目度）: 50.71088247281515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of large language models has revolutionized natural language processing, but their fine-tuning remains computationally expensive, hindering broad deployment. Parameter-efficient fine-tuning (PEFT) methods, such as LoRA, have emerged as solutions. Recent work like DoRA attempts to further decompose weight adaptation into direction and magnitude components. However, existing formulations often define direction heuristically at the column level, lacking a principled geometric foundation. In this paper, we propose MAP, a novel framework that reformulates weight matrices as high-dimensional vectors and decouples their adaptation into direction and magnitude in a rigorous manner. MAP normalizes the pre-trained weights, learns a directional update, and introduces two scalar coefficients to independently scale the magnitude of the base and update vectors. This design enables more interpretable and flexible adaptation, and can be seamlessly integrated into existing PEFT methods. Extensive experiments show that MAP significantly improves performance when coupling with existing methods, offering a simple yet powerful enhancement to existing PEFT methods. Given the universality and simplicity of MAP, we hope it can serve as a default setting for designing future PEFT methods.
• Abstract（参考訳）: 大規模言語モデルの急速な開発は自然言語処理に革命をもたらしたが、その微調整は計算に高価であり、広範な展開を妨げる。 LoRAのようなパラメータ効率のよい微細チューニング(PEFT)法がソリューションとして登場した。 DoRAのような最近の研究は、重量適応をさらに方向と大きさに分解しようと試みている。 しかし、既存の定式化はしばしばカラムレベルで方向をヒューリスティックに定義し、原則化された幾何学的基礎を欠いている。 本稿では,重み行列を高次元ベクトルとして再構成し,その適応を厳密な方法で方向と大きさに分解する新しいフレームワークMAPを提案する。 MAPはトレーニング済みの重量を正規化し、方向の更新を学習し、2つのスカラー係数を導入し、ベースの大きさを独立にスケールし、ベクトルを更新する。 この設計により、より解釈可能で柔軟な適応が可能となり、既存のPEFTメソッドにシームレスに統合できる。 大規模な実験により、MAPは既存の手法と結合する際の性能を著しく向上し、既存のPEFT手法をシンプルかつ強力に拡張することを示した。 MAPの普遍性と単純さを考えると、将来のPEFTメソッドを設計するためのデフォルト設定として機能することを願っている。

関連論文リスト

• Weight Spectra Induced Efficient Model Adaptation [54.8615621415845]
  微調整された大規模な基礎モデルは、計算コストを禁ずる。 微調整が最上位特異値を大きく増幅する一方で,残りはほとんど無傷であることを示す。 本稿では,トップ特異方向の学習可能な再スケーリングを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-29T05:03:29Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• DeLoRA: Decoupling Angles and Strength in Low-rank Adaptation [44.99833362998488]
  Decoupled Low-rank Adaptation (DeLoRA)は学習可能な低ランク行列を正規化しスケールする新しい微調整法である。 DeLoRAは競合するPEFT法の性能に適合し,強靭性を示す。
  論文  参考訳（メタデータ） (2025-03-23T22:00:56Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models [32.68721299475496]
  Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。 本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。 主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
  論文  参考訳（メタデータ） (2025-01-15T11:10:37Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。 本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。 理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• AdamP: Slowing Down the Slowdown for Momentum Optimizers on Scale-invariant Weights [53.8489656709356]
  正規化技術は現代の深層学習の恩恵である。 しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。 本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
  論文  参考訳（メタデータ） (2020-06-15T08:35:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。