論文の概要: JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.16171v2
• Date: Tue, 21 Apr 2026 16:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 14:04:47.705129
• Title: JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models
• Title（参考訳）: JumpLoRA: 大規模言語モデルにおける継続的な学習のためのスパースアダプタ
• Abstract要約: JumpLoRAは,JumpReLUゲーティングを用いてローランド適応(LoRA)ブロックの間隔を適応的に誘導する新しいフレームワークである。 特に,IncLoRAの性能を著しく向上させ,最先端のCLであるELLAよりも優れることを示す。
• 参考スコア（独自算出の注目度）: 78.56572636138429
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapter-based methods have become a cost-effective approach to continual learning (CL) for Large Language Models (LLMs), by sequentially learning a low-rank update matrix for each task. To mitigate catastrophic forgetting, state-of-the-art approaches impose constraints on new adapters with respect to the previous ones, by targeting either subspace or coordinate-wise interference. In this paper, we propose JumpLoRA, a novel framework to adaptively induce sparsity in the Low-Rank Adaptation (LoRA) blocks through the use of JumpReLU gating. The method achieves dynamic parameter isolation, which helps prevent task interference. We demonstrate that our method is highly modular and compatible with LoRA-based CL approaches. Specifically, it significantly boosts the performance of IncLoRA and outperforms the leading state-of-the-art CL method, ELLA.
• Abstract（参考訳）: 適応型手法は,タスク毎に低ランク更新行列を逐次学習することにより,Large Language Models (LLMs) の連続学習(CL)に対するコスト効率の高いアプローチとなっている。 破滅的な忘れを和らげるために、最先端のアプローチは、サブスペースまたは座標の干渉をターゲットとして、以前のアダプタに対する新しいアダプタに制約を課す。 本稿では、JumpReLUゲーティングを用いて、ローランド適応(LoRA)ブロックの間隔を適応的に誘導する新しいフレームワークであるJumpLoRAを提案する。 この方法は動的パラメータ分離を実現し、タスクの干渉を防ぐのに役立つ。 本手法は高度にモジュール化され, LoRA ベースの CL アプローチと互換性があることを実証する。 具体的には、IncLoRAの性能を大幅に向上させ、最先端のCL法であるELLAよりも優れています。

関連論文リスト

• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Parameter Efficient Continual Learning with Dynamic Low-Rank Adaptation [19.48677836920734]
  連続学習(CL)におけるディープニューラルネットワークにとって、破滅的な忘れは依然として重要な課題である。 CLトレーニング中にLoRAコンポーネントの動的ランクアロケーションを必要とするリハーサルフリーなCLフレームワークであるPEARLを紹介する。
  論文  参考訳（メタデータ） (2025-05-17T13:19:01Z)
• C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models [26.560293264523903]
  Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティングマトリックスを使用して、タスク間のパラメータ更新を動的に管理する。
  論文  参考訳（メタデータ） (2025-02-25T07:35:36Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
  低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。 上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。 そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。