論文の概要: D2-LoRA: A Synergistic Approach to Differential and Directional Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2602.14728v1
• Date: Mon, 16 Feb 2026 13:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.415683
• Title: D2-LoRA: A Synergistic Approach to Differential and Directional Low-Rank Adaptation
• Title（参考訳）: D2-LoRA:差分と方向の低ランク適応に対する相乗的アプローチ
• Authors: Nozomu Fujisawa, Masaaki Kondo,
• Abstract要約: D2-LoRAは8つの質問応答と読解ベンチマークで76.4%の平均精度を達成した。 この方法は、符号付き低ランク残差更新と追加的および減算的コンポーネント、および列車時列ワイドプロジェクションを組み合わせたものである。
• 参考スコア（独自算出の注目度）: 0.24636535146231608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We systematically investigate the parameter-efficient fine-tuning design space under practical data and compute constraints, and propose D2-LoRA. D2-LoRA achieves 76.4 percent average accuracy across eight question answering and reading comprehension benchmarks using only 5k training samples per task and two epochs, while preserving algebraic mergeability at inference with near-exact numerical equivalence. The method combines signed low-rank residual updates with additive and subtractive components, together with a train-time column-wise projection that keeps each column close to its original norm. After training, the adapter is merged into a single weight matrix, adding zero inference latency. Compared with LoRA, D2-LoRA improves average accuracy by 2.2 percentage points; at matched parameter counts (LoRA rank 2r versus D2-LoRA rank r), the improvement is 1.6 points, indicating gains from architectural design rather than increased parameterization. Compared with DoRA, it matches or exceeds performance on most tasks. Beyond QA and reading comprehension, D2-LoRA improves generative tasks (plus 1.2 ROUGE-L and plus 1.1 percent win rate) and shows 36 percent lower training volatility. The merge preserves numerical fidelity (mean gap about 0.03 percentage points) and recovers about 1.91x evaluation throughput. Training overhead is 19 percent, comparable to DoRA, and decreases with longer input sequences. We provide a geometric analysis explaining how the projection stabilizes training, together with ablation studies isolating the contribution of each design component.
• Abstract（参考訳）: 実データと計算制約の下でパラメータ効率の良い微調整設計空間を体系的に検討し,D2-LoRAを提案する。 D2-LoRAは、タスク毎の5kトレーニングサンプルと2つのエポックを使用して、8つの質問応答および読解ベンチマークの平均精度を76.4%達成し、ほぼ正確には数値同値の推論で代数的マージ性を保っている。 この手法は、符号付き低ランク残差更新と加法的および減算的コンポーネント、および各列を元のノルムに近づける列車時列ワイズプロジェクションを組み合わせる。 トレーニング後、アダプタは単一の重み行列にマージされ、推論遅延がゼロになる。 LoRAと比較すると、D2-LoRAは平均精度を2.2ポイント改善するが、一致したパラメータ数(LoRAランク2r対D2-LoRAランクr)では1.6ポイント向上し、パラメータ化の増大よりもアーキテクチャ設計の利点を示している。 DoRAと比較すると、ほとんどのタスクでパフォーマンスにマッチするか、上回っている。 QAと読書の理解を超えて、D2-LoRAは生成タスク(1.2ROUGE-Lと1.1%の勝利率)を改善し、トレーニングのボラティリティを36%低下させる。 マージは数値忠実度(平均差約0.03ポイント)を保ち、約1.91倍の評価スループットを回復する。 トレーニングのオーバーヘッドは、DoRAに匹敵する19%で、長い入力シーケンスで減少する。 本稿では,プロジェクションがトレーニングをどのように安定させるかを説明する幾何学的解析と,各デザインコンポーネントの寄与を分離するアブレーション研究について述べる。

関連論文リスト

• Efficient Modular Learning through Naive LoRA Summation: Leveraging Orthogonality in High-Dimensional Models [1.0923877073891446]
  Low-Rank Adaptation (LoRA)はパラメータデルタを2つの小さな行列の積として保存する。 Naive summationは追加のトレーニングを必要とせず、数秒で適用でき、マージされたデータでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-16T08:49:02Z)
• SingLoRA: Low Rank Adaptation Using a Single Matrix [7.828928639229988]
  Low-Rank Adaptation (LoRA) は、大きな事前訓練されたモデルのパラメータ効率の高い微調整を著しく進歩させた。 本稿では,SingLoRAを提案する。SingLoRAは,重み付け更新を変換によって乗算した1つの低ランク行列の分解として学習することで,低ランク適応を再構築する。
  論文  参考訳（メタデータ） (2025-07-08T01:11:30Z)
• LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
  Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
  論文  参考訳（メタデータ） (2024-08-13T12:31:30Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。