論文の概要: From What Is Used to What Is Missing: Rethinking Dynamic Rank in LoRA

• arxiv url: http://arxiv.org/abs/2611.07349v1
• Date: Thu, 05 Nov 2026 02:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.495521
• Title: From What Is Used to What Is Missing: Rethinking Dynamic Rank in LoRA
• Title（参考訳）: LoRAのダイナミックランクを再考する
• Abstract要約: タンジェント正規分解を階数進化に変換するGEARを提案する。 言語とビジョンのベンチマーク全体で、GEARは最高の平均パフォーマンスを達成している。 平均コモンセンススコアは86.61から88.45に上昇し、トレーニング可能なパラメータは42.0Mから14.4Mに減少する。
• 参考スコア（独自算出の注目度）: 29.75669408392571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning with LoRA is governed by rank, which controls parameter budget and locally accessible task updates. Existing dynamic-rank methods mainly focus on capacity allocation, leaving unresolved whether the current adaptation space is sufficient for the task. We characterize the first-order information boundary of standard factor gradients, showing that their unobservable subspace coincides with the normal space of the low-rank manifold. Thus, factor gradients alone cannot distinguish under-optimization within the current space from task-relevant directions beyond its first-order reach. This motivates a geometric view of rank evolution, where tangent information optimizes existing degrees of freedom and the normal spectrum quantifies the value of new ones. Under a local quadratic model, we show that leading normal singular directions yield the locally optimal rank expansion, with spectral energy determining its gain. Building on this characterization, we propose GEAR, which turns the tangent--normal decomposition into rank evolution through tangent-space optimization, matrix-free normal-spectrum estimation for rank expansion, and task-induced geometric initialization. Across language and vision benchmarks, GEAR achieves the best average performance in all evaluated settings with substantially fewer trainable parameters. On LLaMA3-8B, it raises the average commonsense score from 86.61 to 88.45 while reducing trainable parameters from 42.0M to 14.4M.
• Abstract（参考訳）: LoRAによるパラメータ効率の高い微調整は、パラメータ予算とローカルアクセス可能なタスク更新を制御するランクによって管理される。 既存の動的ランク法は主にキャパシティ割り当てに重点を置いており、現在の適応空間がそのタスクに十分であるかどうか未解決のままである。 標準因子勾配の1次情報境界を特徴付け、それらの観測不能部分空間がローランク多様体の正規空間と一致することを示す。 したがって、因子勾配だけでは、現在の空間における過度最適化とタスク関連方向をその一階の到達範囲を超えて区別することはできない。 タンジェント情報は既存の自由度を最適化し、通常のスペクトルは新しい自由度の価値を定量化する。 局所二次モデルの下では、通常の特異方向を導くと、スペクトルエネルギーが利得を決定するため、局所的な最適なランク展開が得られることを示す。 この特徴に基づいて, 接空間最適化, 行列自由正規スペクトル推定, タスク誘起幾何初期化による接点-正規分解を階数進化に変換するGEARを提案する。 言語とビジョンのベンチマーク全体で、GEARはトレーニング可能なパラメータが大幅に少ないすべての評価済み設定において、最高の平均パフォーマンスを達成する。 LLaMA3-8Bでは、平均コモンセンススコアを86.61から88.45に引き上げ、トレーニング可能なパラメータを42.0Mから14.4Mに下げる。

関連論文リスト

• How Finite-Rank Bottlenecks Shape the Low-Rank Adaptation Landscape [3.769109917964208]
  低ランク適応(LoRA)は、大きな事前訓練されたモデルのパラメータ効率の高い微調整の標準手法となっている。 バックボーンが凍結されると、損失は、凍結活性化によって誘導される有限ランク線型写像を通してのみ、各重み行列を見ることができる。 これにより、この写像の階数によって階数が制御される大域最小化器が得られる。
  論文  参考訳（メタデータ） (2026-10-16T11:50:01Z)
• DT-LoRA: Reaching Beyond the Tangent Space of Low-Rank Adaptation [24.17500510544964]
  低ランク適応 (LoRA) は、しばしば完全な微調整を過小評価する。 本稿では,固定ランクの予算を安定分岐と動的分岐に分割し,勾配勾配を捉えるダイナミックタンジェントロラを提案する。 コンピュータビジョンと自然言語処理タスクにわたる実験では、LoRAとその変種に対する一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-10-13T05:09:17Z)
• MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning [0.42303492200814446]
  低ランク適応(LoRA)は、連続学習に対するパラメータ効率のよいアプローチを提供するが、その名目上のランクは効果的な適応能力の喪失を隠蔽することができる。 容量割り当てと利用を協調的に制御するtextttMuLoRAを提案する。
  論文  参考訳（メタデータ） (2026-10-01T13:39:53Z)
• Beyond Low-Rank Parameterization: Narrowing the Gap Between LoRA and Full Fine-Tuning via Gradient Decomposition [23.18795203827764]
  Low-Rank Adaptation (LoRA)はパラメータ効率細調整(PEFT)に広く用いられている手法である GDLoRAは前方アクティベーションと後方信号から全重量勾配を再構築し、通常の成分を抽出し、この成分でベース重量を直接更新する。 自然言語理解、数学的推論、常識推論、画像分類の実験は、GDLoRAが一貫してLoRAよりも改善し、FFTのパフォーマンスギャップを狭めることを示している。
  論文  参考訳（メタデータ） (2026-09-29T08:42:17Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。