Fugu-MT 論文翻訳(概要): Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning

論文の概要: Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning

arxiv url: http://arxiv.org/abs/2607.23837v1
Date: Sun, 26 Jul 2026 20:42:56 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.248022
Title: Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning
Title（参考訳）: Latent-LoRA:連続学習のためのグラディエントフリールーティング付き小型潜時空間アダプタ
Abstract要約: 大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムは欠如している。 LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、全てのアダプタを無差別にまとめる必要がある。最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。 Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要としない。
参考スコア（独自算出の注目度）: 2.749219725903528
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models generalize well to individual tasks but lack an inherent mechanism for learning them sequentially, leading to catastrophic forgetting. To mitigate this, LoRA-based continual learning methods allocate a separate low-rank adapter per task, yet existing approaches either require task identity at inference or sum all adapters indiscriminately, letting irrelevant branches distort the output. Recent gating-based solutions route inputs to the correct adapter but introduce trainable parameters that themselves need protection against forgetting. In this work, we observe that pooled token embeddings from a frozen LLM embedding layer already separate task distributions throughout the learning sequence. A Gaussian mixture model fitted on these embeddings, without any gradient-based training, is sufficient for task-agnostic adapter selection at test time. This eliminates the need for a learned gating module. On the adapter side, constraining each task's parameters to the principal subspace of the pretrained weights via SVD yields a compact latent-space parameterization. Within this subspace, orthogonal regularization directly controls inter-task interference. The resulting system, Latent-LoRA, is replay-free, requires no trainable routing component, and uses substantially fewer parameters per task. Experiments across five model scales and two established continual learning benchmarks show state-of-the-art performance with near-zero forgetting.
Abstract（参考訳）: 大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムが欠如しており、破滅的な忘れ物に繋がる。これを軽減するため、LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、すべてのアダプタを無差別にまとめる必要があるため、無関係な分岐が出力を歪ませる。最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。本研究では,凍結したLDM埋め込み層からプールされたトークンの埋め込みが,学習シーケンス全体を通してすでにタスク分布を分離していることを観察する。これらの埋め込みに適合するガウス混合モデルは、勾配に基づく訓練を使わずに、テスト時にタスク非依存のアダプタ選択に十分である。これにより、学習したゲーティングモジュールが不要になる。アダプタ側では、各タスクのパラメータをSVDを介して事前訓練された重みの主部分空間に制約すると、コンパクトな潜在空間パラメータ化が得られる。この部分空間の中で、直交正則化はタスク間干渉を直接制御する。結果、Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要とせず、タスク毎のパラメータが大幅に少ない。 5つのモデルスケールと2つの確立された連続学習ベンチマークによる実験は、ほぼゼロに近い精度で、最先端のパフォーマンスを示している。

関連論文リスト

One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning [45.405420567098155]
textbfFACET: task-conditioned textbfFetextbfAture transformation with textbfConditiontextbfEd feature consistextbfTency。本手法は,トレーニング可能なパラメータとGFLOPを著しく少なくし,優れた性能を実現する。
論文参考訳（メタデータ） (2026-08-31T17:03:45Z)
PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
論文参考訳（メタデータ） (2026-06-17T02:48:35Z)
Learning When to Adapt [29.665123668818378]
低ランク適応(LoRA)はパラメータ効率のよい微調整法として広く用いられている。 DiseLはLoRAモジュールを、個々のランク1コンポーネントに軽量な入力依存ゲートで拡張する。 DiseLは少数のパラメータのみを追加し、ローランク構造を保存する。
論文参考訳（メタデータ） (2026-05-18T18:51:24Z)
Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA [8.191149161025198]
継続的機械学習は、もはや保持すべきでないデータの影響を排除し、モデルの有用性を他のすべてに保持することを目的としています。 Low-Rank Adaptation (LoRA)は、このような更新を実装する効率的な方法を提供するが、多くのシーケンシャルなLoRAモジュールを組み合わせることで、パラメータの衝突につながる。 Singular Value Decomposition (SVD)-guided orthogonal subspace projection に基づく静的な代替法を提案する。
論文参考訳（メタデータ） (2026-04-14T09:59:32Z)
CORAL: Scalable Multi-Task Robot Learning via LoRA Experts [49.759823970016974]
実世界のロボット工学におけるビジョン・ランゲージ・アクション(VLA)モデルは、コアマルチタスク学習の課題を露呈する。タスク毎に個別の完全なチェックポイントを維持することは、しばしばストレージとデプロイメントの禁止である。主にマルチタスク干渉を軽減するために設計されたバックボーンおよび非依存のフレームワークであるCORALを提案する。
論文参考訳（メタデータ） (2026-03-10T07:28:41Z)
The Quest for Winning Tickets in Low-Rank Adapters [24.58659526975649]
Lottery Ticket仮説がパラメータ効率の良い微調整に拡張されるかどうかを検討する。我々の重要な発見は、LTHがLoRA(Lo-Rank Adaptation)メソッド内に保持されていることです。そこで本研究では,課題関連部分空間に適合する低ランクアダプタを訓練し,サロワークを識別する手法であるPartial-LoRAを提案する。
論文参考訳（メタデータ） (2025-12-27T06:39:08Z)
DRL: Discriminative Representation Learning with Parallel Adapters for Class Incremental Learning [63.65467569295623]
本稿では,これらの課題に対処するための差別的表現学習(DRL)フレームワークを提案する。逐次学習を効果的かつ効率的に行うために、DRLのネットワークはPTM上に構築される。我々のDRLは、CIL時代を通して、他の最先端の手法よりも一貫して優れています。
論文参考訳（メタデータ） (2025-10-14T03:19:15Z)
CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning [8.81873424028249]
CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。 CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
論文参考訳（メタデータ） (2025-05-30T17:19:52Z)
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文参考訳（メタデータ） (2024-11-01T14:28:39Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。