論文の概要: LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates

• arxiv url: http://arxiv.org/abs/2609.02734v1
• Date: Wed, 02 Sep 2026 15:41:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.450747
• Title: LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates
• Title（参考訳）: LoRA-TSD: Muon-Style アップデートによる LoRA 用タンジェント空間分光日射
• Abstract要約: 低ランク適応(LoRA)は、大型モデルを微調整する標準的な方法である。 固定ランク行列多様体に対してすべてのLoRAステップを接として扱うアダプタであるLoRA-TSDを導入する。 LoRA-Pro と LoRA-TSD の両方に対して最初のグローバル収束保証を与える。
• 参考スコア（独自算出の注目度）: 48.87937677659571
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is the standard way to fine-tune large models, yet when its two factors are trained independently, the update ignores the geometry of the low-rank weight change it induces. We introduce LoRA-TSD, an optimizer that treats every LoRA step as a tangent vector of the fixed-rank matrix manifold and takes the spectral-norm steepest-descent step of Muon inside that tangent space, mapping the result back to the factors through a retraction native to the LoRA parametrization. The step avoids expensive operations on full weight matrices, and its retraction is up to $2.8\times$ cheaper than the truncated-SVD retraction used by prior manifold methods. We prove that the Frobenius-norm version of our surrogate recovers LoRA-Pro, and we identify the tangent-projected gradient, the Riemannian gradient of the manifold, as the stationarity measure natural to LoRA training and computable from the factor gradients alone. Under this measure we give the first global convergence guarantees for both LoRA-Pro and LoRA-TSD, with rates that drive the factor-gradient norms to zero. Across six commonsense and natural-language-inference benchmarks with Llama-3.2-1B, Llama-3.1-8B and Qwen3-32B, LoRA-TSD outperforms every competing LoRA optimizer and stays robust to the adapter rank. Code is available at https://github.com/brain-lab-research/LoRA-TSD.
• Abstract（参考訳）: ローランク適応(LoRA)は、大きなモデルを微調整する標準的な方法であるが、その2つの要因が独立して訓練されると、その更新は、それが引き起こす低ランクの重量変化の幾何学を無視する。 固定ランク行列多様体の接ベクトルとして全ての LoRA ステップを扱える最適化器 LoRA-TSD を導入し、その接空間内の Muon のスペクトル-ノルム急勾配のステップを、ロRA パラメトリゼーションに固有な引き込みにより、結果を因子にマッピングする。 このステップはフルウェイト行列の高価な操作を回避し、そのリトラクションは、以前の多様体法で使われるトラクション付きSVDのリトラクションよりも2.8\times$コストがかかる。 我々は、我々のサロゲートのフロベニウス-ノルム版が LoRA-Pro を回復することを証明し、この多様体の接射影勾配、リーマン勾配を、ロラのトレーニングに自然であり、因子勾配のみから計算可能な定常度として同定する。 この測度の下では、LoRA-Pro と LoRA-TSD の両方に対する最初の大域収束保証を与える。 Llama-3.2-1B、Llama-3.1-8B、Qwen3-32Bの6つのコモンセンスおよび自然言語推論ベンチマークにおいて、LoRA-TSDは競合するLoRAオプティマイザよりも優れ、アダプタのランクに頑健である。 コードはhttps://github.com/brain-lab-research/LoRA-TSDで公開されている。

関連論文リスト

• LoRA-GA$^2$: Low Rank Adaptation with Multi-step Gradient Adaptive Alignment [3.934797837010563]
  Low-Rank Adaptation (LoRA) は、大型モデルのための卓越した微調整法である。 LoRA-GA$2$は、多段階勾配情報を完全に活用する効果的な微調整アルゴリズムである。
  論文  参考訳（メタデータ） (2026-08-20T08:55:05Z)
• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection [13.686308852232857]
  パラメータ効率の良い微調整のための層間表現注入法であるEcho-LoRAを提案する。 トレーニング中、Echo-LoRAは、深いソース層から境界隠れ状態を収集し、それらをサンプルレベルのエコー表現に集約し、軽量なプロジェクションネットワークを使用して、結果の信号を浅いLoRAまたはDoRAモジュールに注入する。 8つのコモンセンス推論ベンチマークにおいて、Echo-LoRAはLLaMA-7B、LLaMA2-7B、LLaMA3-8Bで報告されたLoRAベースラインを超える。
  論文  参考訳（メタデータ） (2026-05-05T08:26:11Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation [4.748720471060117]
  GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。 トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。 GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
  論文  参考訳（メタデータ） (2026-01-01T06:31:54Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。