Fugu-MT 論文翻訳(概要): MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning

論文の概要: MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning

arxiv url: http://arxiv.org/abs/2610.02283v1
Date: Thu, 01 Oct 2026 13:39:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 19:20:54.742347
Title: MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning
Title（参考訳）: MuLoRA: 連続学習のためのスペクトルバランスの低い低ランク適応
Abstract要約: 低ランク適応(LoRA)は、連続学習に対するパラメータ効率のよいアプローチを提供するが、その名目上のランクは効果的な適応能力の喪失を隠蔽することができる。容量割り当てと利用を協調的に制御するtextttMuLoRAを提案する。
参考スコア（独自算出の注目度）: 0.42303492200814446
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Low-rank adaptation (LoRA) provides a parameter-efficient approach to continual learning, but its nominal rank can conceal a loss of effective adaptation capacity. We identify \emph{spectral plasticity collapse}: during sequential adaptation, update energy becomes concentrated in a small subset of singular modes, leaving much of the available low-rank space underutilized. This exposes a limitation of interference avoidance alone: protecting historical representations does not ensure that the remaining adaptation capacity is responsive to new tasks or effectively utilized. To address this problem, we propose \texttt{MuLoRA}, which jointly controls capacity allocation and utilization. First, historical whitening identifies input directions with strong current-task response relative to accumulated historical response, yielding a task-adaptive basis that remains fixed during training. Second, approximate polar orthogonalization of momentum updates reduces spectral concentration within theselected space. An orthonormal basis connects these mechanisms by transferring the factor-update spectrum exactly tothe induced weight update. We establish a max--min characterization of exact subspace selection and derive cumulative spectral bounds under controlled cross-step anisotropy. Across five class-incremental benchmarks and eight incremental settings, \texttt{MuLoRA} achieves the highest mean accuracy in 15 of 16 reported metrics.
Abstract（参考訳）: 低ランク適応(LoRA)は、連続学習に対するパラメータ効率のよいアプローチを提供するが、その名目上のランクは効果的な適応能力の喪失を隠蔽することができる。逐次的な適応の間、更新エネルギーは特異モードの小さな部分集合に集中し、利用可能な低ランク空間の多くを未利用のまま残す。歴史的表現を保護することは、残りの適応能力が新しいタスクに応答するか、効果的に活用されることを保証しない。この問題に対処するために,キャパシティの割り当てと利用を共同で制御する \texttt{MuLoRA} を提案する。まず、履歴ホワイトニングは、蓄積した履歴応答に対して強い電流-タスク応答を持つ入力方向を識別し、トレーニング中に固定されたタスク適応ベースを生成する。第二に、運動量更新の近似的な極直交化は、選択された空間内のスペクトル濃度を減少させる。正規直交基底は、誘導された重み更新に正確に因子更新スペクトルを転送することでこれらのメカニズムを接続する。我々は、正確な部分空間選択の最大分間のキャラクタリゼーションを確立し、制御されたクロスステップ異方性の下で累積スペクトル境界を導出する。 5つのクラスインクリメンタルなベンチマークと8つのインクリメンタルな設定で、報告された16のメトリクスのうち、最も高い平均精度を達成している。

関連論文リスト

A Dynamical Theory of LoRA in Continual Learning [69.58708346402757]
本稿では,Low-Rank Adaptation (LoRA) がシーケンシャルタスク間で情報を整理し,逐次MNISTベンチマークで定性的に再現する方法を示す。この力学図に基づいて、最強のファーストタスク表現を持つ隠れユニットを凍結し、補完部分空間への適応を制限する状態依存マスキング戦略を解析する。
論文参考訳（メタデータ） (2026-09-30T09:22:13Z)
BaRA: Bayesian Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning [40.998095775740886]
低ランク適応(LoRA)は、タスク固有の更新を固定された低ランク部分空間に制限することで、非常に効率的な微調整を可能にする。パラメータ効率の良い微調整のためのベイズ適応ランクアロケーションフレームワークであるBaRAを提案する。 BaRAは、非絡み合った潜在因子のスパースでコンテキスト依存のサブセットを活性化することで適応能力を動的に割り当てる。
論文参考訳（メタデータ） (2026-06-28T04:08:09Z)
Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning [122.06915301391616]
Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
論文参考訳（メタデータ） (2026-05-27T13:53:14Z)
Energy-Structured Low-Rank Adaptation for Continual Learning [78.5390284258307]
textbfEnergy-Concentrated and textbfEnergy-Ordered textbfLow-textbfRank textbfAdaptation (E$2$-LoRA)を提案する。 E$2$-LoRAは、知識を明示的に順序付けして上位のランクに集約することにより、その後のタスクの容量を解放する。
論文参考訳（メタデータ） (2026-05-26T12:55:02Z)
JAWS: Enhancing Long-term Rollout of Neural Operators via Spatially-Adaptive Jacobian Regularization [0.0]
Jacobian-Adaptive Weighting for Stability (JAWS)は、これらの制限を軽減するために設計された確率的正規化戦略である。空間的不確実性を伴う最大Aポストエリオーリ(MAP)推定として演算子学習をフレーミングすることにより、JAWSは局所的な物理的複雑さに基づいて正規化強度を動的に変調する。実験により、この空間適応型プリコンディショナーが有効スペクトルプレコンディショナーとして機能し、高周波不安定性を扱う際のベースオペレータの負担を軽減することが示されている。
論文参考訳（メタデータ） (2026-03-04T06:15:09Z)
PRAC: Principal-Random Subspace for LLM Activation Compression and Memory-Efficient Training [5.275001711555517]
LLM Activation Compression (PRAC) のためのプライマリランサム部分空間を提案する。 PRACはアクティベーションを2つのコンポーネントに分解する: SVDで取得した主部分空間は支配的な情報を保持するために、そして直交補体からサンプリングされたランダム部分空間は尾部を近似する。事前トレーニングおよび微調整タスクの実験により、PRACは、無視できる性能劣化と最小計算コストで最大36%のメモリ削減を達成した。
論文参考訳（メタデータ） (2026-02-26T15:23:34Z)
Recurrent Equivariant Constraint Modulation: Learning Per-Layer Symmetry Relaxation from Data [36.287199718605]
等価ニューラルネットワークは、基礎となるタスク対称性を利用して一般化を改善する。本稿では,レイヤワイド制約変調機構であるRecurrent Equivariant ConstraintModulation (RECM)を提案する。 RECMは、トレーニング信号と各層の入力ターゲット分布の対称性からのみ適切な緩和レベルを学習する。
論文参考訳（メタデータ） (2026-02-02T21:59:35Z)
Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning [56.87989363424]
シフトした後継尺度において,低ランク構造が自然に現れることを示す。有効な低ランク近似と推定に必要なシフトの量を定量化する。
論文参考訳（メタデータ） (2025-09-05T15:48:20Z)
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文参考訳（メタデータ） (2024-11-10T19:59:54Z)
Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
論文参考訳（メタデータ） (2022-06-08T21:32:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。