論文の概要: DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks

• arxiv url: http://arxiv.org/abs/2510.04331v1
• Date: Sun, 05 Oct 2025 19:27:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.588687
• Title: DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks
• Title（参考訳）: DoRAN:ノイズインジェクションと補助ネットワークによる軽量化低ランク適応の安定化
• Authors: Nghiem T. Diep, Hien Dang, Tuan Truong, Tan Dinh, Huy Nguyen, Nhat Ho,
• Abstract要約: 重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。 そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
• 参考スコア（独自算出の注目度）: 47.58150560549918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods have become the standard paradigm for adapting large-scale models. Among these techniques, Weight-Decomposed Low-Rank Adaptation (DoRA) has been shown to improve both the learning capacity and training stability of the vanilla Low-Rank Adaptation (LoRA) method by explicitly decomposing pre-trained weights into magnitude and directional components. In this work, we propose DoRAN, a new variant of DoRA designed to further stabilize training and boost the sample efficiency of DoRA. Our approach includes two key stages: (i) injecting noise into the denominator of DoRA's weight decomposition, which serves as an adaptive regularizer to mitigate instabilities; and (ii) replacing static low-rank matrices with auxiliary networks that generate them dynamically, enabling parameter coupling across layers and yielding better sample efficiency in both theory and practice. Comprehensive experiments on vision and language benchmarks show that DoRAN consistently outperforms LoRA, DoRA, and other PEFT baselines. These results underscore the effectiveness of combining stabilization through noise-based regularization with network-based parameter generation, offering a promising direction for robust and efficient fine-tuning of foundation models.
• Abstract（参考訳）: パラメータ効率のよい微細チューニング(PEFT)法は,大規模モデルに適用するための標準パラダイムとなっている。 これらの技術の中で、重み付き低ランク適応(DoRA)は、学習能力と訓練安定性の両方を、事前学習した重みを大小の方向成分に明示的に分解することで改善することが示されている。 そこで本研究では,DoRAのトレーニングをより安定させ,サンプル効率を向上させるため,新しいDoRAの派生体であるDoRANを提案する。 私たちのアプローチには2つの重要な段階があります。 一 障害を緩和するための適応正則化剤として機能するドーラの重量分解の分母に雑音を注入すること。 二 静的な低ランク行列を動的に生成する補助ネットワークに置き換えることにより、層間のパラメータ結合を可能にし、理論と実践の両方においてより良いサンプル効率が得られる。 ビジョンと言語ベンチマークに関する総合的な実験は、DoRANが一貫してLoRA、DoRA、その他のPEFTベースラインを上回っていることを示している。 これらの結果は、ノイズベース正規化による安定化とネットワークベースパラメータ生成を組み合わせ、基礎モデルの堅牢かつ効率的な微調整のための有望な方向を提供する効果を裏付けるものである。

関連論文リスト

• ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs [0.46040036610482665]
  本稿では,学習可能なスケーリング因子によるランク割り当てを自動化する新しいフレームワークであるAdaptive Rank Dynamic LoRA(ARD-LoRA)を紹介する。 ARD-LoRAは、連続的で、差別化可能な、ヘッドランクごとの適応を可能にする。 LLAMA-3.1-70BとPaliGemma-2の実験ではARD-LoRAの有効性が示され、トレーニング可能なパラメータは0.32%しかなかった。
  論文  参考訳（メタデータ） (2025-06-23T03:45:37Z)
• TLoRA: Tri-Matrix Low-Rank Adaptation of Large Language Models [0.135975510645475]
  TLoRAはトリマトリクスの低ランク適応法である。 我々は,TLoRAが既存の低ランク手法に匹敵する性能を発揮することを示す。
  論文  参考訳（メタデータ） (2025-04-25T23:11:10Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models [32.68721299475496]
  Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。 本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。 主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
  論文  参考訳（メタデータ） (2025-01-15T11:10:37Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。