論文の概要: When One Adapter Speaks for Many: Discovering Low-Rank Redundancy in Continual Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.28117v1
• Date: Fri, 26 Jun 2026 14:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.510062
• Title: When One Adapter Speaks for Many: Discovering Low-Rank Redundancy in Continual Fine-Tuning
• Title（参考訳）: 1つのアダプタが多くの人に話すとき:連続的な微調整で低ランク冗長性を発見する
• Abstract要約: 連続学習におけるタスク固有のLoRAアダプタは,高い低ランク冗長性を示すことを示す。 そこで我々はLiteLoRAを提案する。LiteLoRAは、新しいアダプタを募集するか、既存の低ランク表現を再利用するかを列車時に学習するプラグイン・アンド・プレイのゲーティング機構である。
• 参考スコア（独自算出の注目度）: 31.20315349532034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has become the standard tool for parameter-efficient fine-tuning of large pretrained models. When applied sequentially across tasks in Continual Learning (CL), the standard assumption is that each new task requires a dedicated low-rank adapter. In this work, we challenge this assumption empirically and structurally. We show that task-specific LoRA adapters in CL exhibit significant low-rank redundancy: the subspaces spanned by adapters trained on different tasks substantially overlap, and in many cases earlier adapters can faithfully represent later tasks. Building on this observation, we propose LiteLoRA, a plug-and-play gating mechanism that learns at train time whether to recruit a new adapter or reuse existing low-rank representations. Our method reduces the number of active adapters by 20-70% while matching or exceeding state-of-the-art performance on standard CL benchmarks, revealing that structural redundancy is pervasive and that selective learning is sufficient to achieve stability without sacrificing plasticity.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大きな事前訓練されたモデルのパラメータ効率の高い微調整のための標準ツールとなっている。 CL(Continuous Learning)のタスクに連続的に適用される場合、各タスクは専用のローランクアダプタを必要とする。 本研究では、この仮定を経験的かつ構造的に挑戦する。 CLにおけるタスク固有のLoRAアダプタは、異なるタスクで訓練されたアダプタによって拡張されたサブスペースが著しく重複していることを示し、多くの場合、初期のアダプタは後続のタスクを忠実に表現できる。 この観測に基づいてLiteLoRAを提案する。LiteLoRAは、新しいアダプタを募集するか、既存の低ランク表現を再利用するかを列車時に学習するプラグイン・アンド・プレイ・ゲーティング機構である。 提案手法は, 標準CLベンチマークにおいて, 有効アダプタの数を20～70%削減し, 構造的冗長性が広範であり, 可塑性を犠牲にすることなく, 安定性を確保するのに十分であることを示した。

関連論文リスト

• Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning [2.749219725903528]
  大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムは欠如している。 LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、全てのアダプタを無差別にまとめる必要がある。 最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。 Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要としない。
  論文  参考訳（メタデータ） (2026-07-26T20:42:56Z)
• JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models [78.56572636138429]
  JumpLoRAは,JumpReLUゲーティングを用いてローランド適応(LoRA)ブロックの間隔を適応的に誘導する新しいフレームワークである。 特に,IncLoRAの性能を著しく向上させ,最先端のCLであるELLAよりも優れることを示す。
  論文  参考訳（メタデータ） (2026-04-17T15:38:37Z)
• AdaRing: Towards Ultra-Light Vision-Language Adaptation via Cross-Layer Tensor Ring Decomposition [41.654675205772485]
  本稿では,多層テンソルリング分解(TRD)に基づく視覚言語微調整フレームワークAdaRingを提案する。 実験の結果,提案したAdaRingは,平均トレーニングパラメータを90%削減しつつ,最先端の性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-08-16T01:56:27Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning [8.81873424028249]
  CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。 我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。 CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
  論文  参考訳（メタデータ） (2025-05-30T17:19:52Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Towards Optimal Adapter Placement for Efficient Transfer Learning [73.1149084352343]
  PETLは、トレーニング済みモデルを新しい下流タスクに適用し、微調整されたパラメータの数を最小化することを目的としている。 PETLの一般的なアプローチであるアダプタは、低ランクのプロジェクションを組み込むことで、既存のネットワークにさらなる容量を注入する。 本稿では,アダプタの配置と性能の関係について検討する。
  論文  参考訳（メタデータ） (2024-10-21T10:37:17Z)
• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。