論文の概要: DT-LoRA: Reaching Beyond the Tangent Space of Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2610.17730v1
• Date: Tue, 13 Oct 2026 05:09:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:32:59.167598
• Title: DT-LoRA: Reaching Beyond the Tangent Space of Low-Rank Adaptation
• Title（参考訳）: DT-LoRA:低ランク適応のタンジェントな空間を超えて到達
• Abstract要約: 低ランク適応 (LoRA) は、しばしば完全な微調整を過小評価する。 本稿では,固定ランクの予算を安定分岐と動的分岐に分割し,勾配勾配を捉えるダイナミックタンジェントロラを提案する。 コンピュータビジョンと自然言語処理タスクにわたる実験では、LoRAとその変種に対する一貫した改善が示されている。
• 参考スコア（独自算出の注目度）: 24.17500510544964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) often underperforms full fine-tuning. We investigate this performance gap through a tangent-space lens: factorized updates are confined to the tangent space of the current low-rank factors, leaving gradient components outside this space unexploited. An analysis of ten representative LoRA variants reveals that these residual components account for most of the gradient energy and exhibit strong spectral concentration. Motivated by this finding, we propose Dynamic Tangent LoRA (DT-LoRA), which partitions a fixed rank budget into a stable branch and a dynamic branch to capture the principal residual gradient directions. We show that these directions define the optimal update of a local quadratic model under orthogonal-complement and rank constraints. Matrix-free randomized SVD recovers them without materializing the residual gradient, while controlled write-back preserves accumulated updates and stabilizes training within the allocated rank. DT-LoRA adds no trainable parameters or inference cost over LoRA. Experiments across computer vision and natural language processing tasks demonstrate consistent improvements over LoRA and its variants. Moreover, despite being a general-purpose adaptation method, DT-LoRA outperforms task-specific approaches to open-vocabulary domain generalization for semantic segmentation, achieving state-of-the-art results. Code is available at https://github.com/Snipine/DT-LoRA.
• Abstract（参考訳）: 低ランク適応 (LoRA) は、しばしば完全な微調整を過小評価する。 分解された更新は、現在の低ランク因子の接空間に限られており、この空間の外側の勾配成分は露出しない。 10種類のLoRA変種の分析により、これらの残留成分が勾配エネルギーの大部分を占め、強いスペクトル濃度を示すことが明らかとなった。 この発見を動機として,固定階数予算を安定分岐と動的分岐に分割して主残留勾配方向を捉える動的タンジェントロラ(DT-LoRA)を提案する。 これらの方向は直交補足と階数制約の下で局所二次モデルの最適更新を定義する。 行列のないランダム化SVDは残留勾配を具体化せずにそれらを回復し、制御された書き込みバックは蓄積した更新を保存し、割り当てられたランク内のトレーニングを安定化する。 DT-LoRAはLoRAにトレーニング可能なパラメータや推論コストを追加しない。 コンピュータビジョンと自然言語処理タスクにわたる実験では、LoRAとその変種に対する一貫した改善が示されている。 さらに、DT-LoRAは汎用的な適応手法であるにもかかわらず、セマンティックセグメンテーションのためのオープン語彙領域の一般化に対するタスク固有のアプローチよりも優れ、最先端の結果が得られる。 コードはhttps://github.com/Snipine/DT-LoRAで公開されている。

関連論文リスト

• Beyond Low-Rank Parameterization: Narrowing the Gap Between LoRA and Full Fine-Tuning via Gradient Decomposition [23.18795203827764]
  Low-Rank Adaptation (LoRA)はパラメータ効率細調整(PEFT)に広く用いられている手法である GDLoRAは前方アクティベーションと後方信号から全重量勾配を再構築し、通常の成分を抽出し、この成分でベース重量を直接更新する。 自然言語理解、数学的推論、常識推論、画像分類の実験は、GDLoRAが一貫してLoRAよりも改善し、FFTのパフォーマンスギャップを狭めることを示している。
  論文  参考訳（メタデータ） (2026-09-29T08:42:17Z)
• LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates [48.87937677659571]
  低ランク適応(LoRA)は、大型モデルを微調整する標準的な方法である。 固定ランク行列多様体に対してすべてのLoRAステップを接として扱うアダプタであるLoRA-TSDを導入する。 LoRA-Pro と LoRA-TSD の両方に対して最初のグローバル収束保証を与える。
  論文  参考訳（メタデータ） (2026-09-02T15:41:45Z)
• RSLoRA: Training-free Rank Allocation for LoRA via Representational Sensitivity Probing [6.536143248862949]
  低ランク適応(LoRA)はパラメータ効率微調整(PEFT)の基盤となっている 既存のランク割り当て手法は、計算強度と単純さのトレードオフに苦慮している。 本稿では,アクティベーション空間幾何によって駆動されるトレーニングフリーで表現対応のランクアロケータRSLoRAを提案する。
  論文  参考訳（メタデータ） (2026-07-05T13:58:38Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。