論文の概要: Spectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.08414v1
• Date: Thu, 05 Nov 2026 18:17:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.616182
• Title: Spectral and Subspace Dynamics of LoRA in Supervised Fine-Tuning and Reinforcement Learning
• Title（参考訳）: 教師付き微調整・強化学習におけるLoRAのスペクトル・サブスペースダイナミクス
• Abstract要約: 低ランク適応(LoRA)は、教師付き微調整(SFT)と強化学習(RL)の両方で一般的に使用される。 その結果、RLは各学習率でスペクトルを集中させ、SFTは適度な学習率でスペクトルを拡大することがわかった。 また、RLはSFTよりも少ない学習速度で特異部分空間を回転させる。
• 参考スコア（独自算出の注目度）: 23.712249623444933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is commonly used in both supervised fine-tuning (SFT) and reinforcement learning (RL), often under similar optimizer settings. Yet, how the different dynamics of the two stages manifest in the low-rank increment that LoRA optimizes remains unclear. Tracking the singular spectrum and subspaces of LoRA updates on mathematical reasoning tasks, we find that RL concentrates the spectrum at every learning rate, while SFT expands it at moderate learning rates; moreover, RL rotates the singular subspaces much faster than SFT at small learning rates. Interpolating between SFT and RL one ingredient at a time, we pinpoint group-mean baseline subtraction as the source of both contrasts. A quadratic multi-index model updated via LoRA unveils the underlying mechanism: group-mean baseline subtraction tilts the balance between two competing forces, coherent fitting and gradient noise, toward spectral concentration and faster subspace rotation, while forcing the risk-favorable learning rate to be low. Guided by these dynamics, we tailor LoRA updates to each stage: in SFT, we flatten the spectrum of the full update to spread adaptation across singular directions, whereas in RL, we flatten the part of the update outside the current LoRA increment span to promote subspace rotation. Experiments on mathematical reasoning tasks across multiple models show that the respective configurations for SFT and RL yield the best performance among the compared methods in most evaluated settings.
• Abstract（参考訳）: ローランク適応 (LoRA) は、教師付き微調整 (SFT) と強化学習 (RL) の両方でよく使われ、しばしば同様のオプティマイザ設定で用いられる。 しかし、LoRAが最適化した低ランクインクリメントにおいて、2つのステージの異なるダイナミクスがどのように現れるかは、まだ不明である。 数学的推論タスクにおけるLoRA更新の特異スペクトルと部分空間を追跡すると、RLは各学習速度でスペクトルを集中し、SFTは中程度の学習速度でスペクトルを拡大し、RLはSFTよりも小さい学習速度で特異部分空間を回転させる。 SFTとRLを1成分ずつ補間し,両コントラストの源としてグループ平均ベースラインサブトラクションをピンポイントとした。 グループ平均ベースラインの減算は、コヒーレントフィッティングと勾配ノイズという2つの競合する力のバランスを、スペクトル集中とより高速な部分空間回転に傾けると同時に、リスク好適な学習速度を低くする。 SFTでは、全更新のスペクトルを平らにし、特定の方向に適応させ、RLでは、現在のLoRAインクリメントの外側の更新部分を平らにし、部分空間回転を促進します。 複数のモデルにまたがる数学的推論タスクの実験により、SFTとRLのそれぞれの構成が、最も評価された設定において比較した手法の中で最高の性能を示すことが示された。

関連論文リスト

• DT-LoRA: Reaching Beyond the Tangent Space of Low-Rank Adaptation [24.17500510544964]
  低ランク適応 (LoRA) は、しばしば完全な微調整を過小評価する。 本稿では,固定ランクの予算を安定分岐と動的分岐に分割し,勾配勾配を捉えるダイナミックタンジェントロラを提案する。 コンピュータビジョンと自然言語処理タスクにわたる実験では、LoRAとその変種に対する一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-10-13T05:09:17Z)
• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
  Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。 本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。 異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
  論文  参考訳（メタデータ） (2026-02-04T19:36:20Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。