論文の概要: Rank-Efficient LoRA via Joint Tangent-Space Optimization under Isotropic Curvature

• arxiv url: http://arxiv.org/abs/2609.12123v1
• Date: Thu, 10 Sep 2026 18:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.516502
• Title: Rank-Efficient LoRA via Joint Tangent-Space Optimization under Isotropic Curvature
• Title（参考訳）: 等方的曲率下での合同タンジェント空間最適化によるランク効率LoRA
• Abstract要約: Low-Rank Adaptation (LoRA) は、低ランクウェイト更新を学習することで、大規模な事前学習モデルに適応するための効果的なアプローチである。 比喩ランクが表現能力を決定する一方で、そのキャパシティの形状が誘導重み空間更新に使用されることを示す。
• 参考スコア（独自算出の注目度）: 15.962803593943624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is an effective approach for adapting large pretrained models by learning low-rank weight updates. In practice, the LoRA rank is used to control an adapter's parameter budget and representational capacity. We show that this view is incomplete: while the nominal rank determines the representational capacity, the optimizer shapes how much of that capacity is used in the induced weight-space updates. In a case study of GPT-2 adaptation with LoRA, we observe a strong rank-dependent optimizer effect. Despite using the same nominal rank, AdamW often produces per-step updates with concentrated singular spectra and low effective rank, whereas Muon uses a richer set of directions and benefits more consistently from increasing LoRA rank. These observations motivate ISO-LoRA, an optimizer that couples the LoRA factor updates through spectral descent on the induced tangent perturbation in weight space. ISO-LoRA promotes updates that distribute energy more evenly across singular directions, improving rank utilization while preserving compatibility with the LoRA parameterization. We complement this design with theoretical guarantees showing that ISO-LoRA can achieve higher effective rank than standard factor-wise optimizers through a one-step analysis under a stylized spiked-gradient model. We validate this design on language-model adaptation across 0.1B-7B-parameter models, where ISO-LoRA improves effective rank and downstream performance, with the strongest gains at moderate-to-large LoRA ranks. Our results highlight rank utilization as a key factor in LoRA optimization and suggest that optimizer design offers an important path toward stronger parameter-efficient adaptation.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、低ランクウェイト更新を学習することで、大規模な事前学習モデルに適応するための効果的なアプローチである。 実際には、LoRAランクはアダプタのパラメータ予算と表現能力を制御するために使用される。 名目ランクが表現能力を決定する一方で、オプティマイザは、そのキャパシティのどれ程が誘導された重み空間更新に使われているかを形作る。 LoRAによるGPT-2適応のケーススタディでは,強いランク依存オプティマイザ効果が観察される。 同じ名目ランクを使用しているにもかかわらず、AdamWは集中した特異スペクトルと低い有効ランクを持つステップごとの更新をしばしば生成する一方、Muonはよりリッチな方向セットを使用し、LoRAランクの増加からより一貫した利益を得る。 これらの観測は、重量空間の誘導されたタンジェント摂動のスペクトル降下によってLoRA因子を更新する最適化器であるISO-LoRAを動機付けている。 ISO-LoRAは、特定の方向にエネルギーを均等に分配する更新を促進し、LoRAパラメータ化との互換性を維持しながらランク利用を改善する。 この設計を,スタイリングされたスパイク勾配モデルに基づく一段階解析により,ISO-LoRAが標準因子最適化器よりも高い有効ランクを達成可能であることを示す理論的保証で補完する。 0.1B-7Bパラメータモデルにおける言語モデル適応の検証を行い、ISO-LoRAは効率の高いランクとダウンストリーム性能を向上する。 この結果から,LoRA最適化の重要な要素としてランク利用が強調され,パラメータ効率向上への重要な道筋がオプティマイザ設計にあることが示唆された。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation [85.89510825889168]
  効率的な事前学習のための新しい低ランクシステムであるLoRA-Preを紹介する。 LoRA-Pre オンライン線形学習器内のコンパクトな低ランク部分空間に運動量行列を分解する。 Llama アーキテクチャファミリーのモデルを事前学習することで,LoRA-Preの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-27T18:57:06Z)
• Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
  Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。 本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。 異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
  論文  参考訳（メタデータ） (2026-02-04T19:36:20Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。