論文の概要: Sparse Adapter Fusion for Continual Learning in NLP

• arxiv url: http://arxiv.org/abs/2602.02502v1
• Date: Tue, 20 Jan 2026 15:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 02:03:42.403624
• Title: Sparse Adapter Fusion for Continual Learning in NLP
• Title（参考訳）: NLPにおける連続学習のためのスパースアダプタフュージョン
• Authors: Min Zeng, Xi Chen, Haiqin Yang, Yike Guo,
• Abstract要約: Sparse Adapter Fusion Method (SAFM)は、これらの課題に対処するために、古いアダプタと新しいアダプタを動的に融合する。 実験結果から,SAFMは最先端(SOTA)法よりも優れていた。
• 参考スコア（独自算出の注目度）: 34.701612504273946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning in natural language processing plays a crucial role in adapting to evolving data and preventing catastrophic forgetting. Despite significant progress, existing methods still face challenges, such as inefficient parameter reuse across tasks, risking catastrophic forgetting when tasks are dissimilar, and the unnecessary introduction of new parameters for each task, which hampers knowledge sharing among similar tasks. To tackle these issues, we propose a Sparse Adapter Fusion Method (SAFM), which dynamically fuses old and new adapters to address these challenges. SAFM operates in two stages: the decision stage and the tuning stage. In the decision stage, SAFM determines whether to incorporate a new adapter, reuse an existing one, or add an empty adapter. The architecture search procedure, designed to prioritize reusing or adding empty adapters, minimizes parameter consumption and maximizes reuse. In the tuning stage, SAFM especially facilitates a layer-wise loss to encourage differentiation between adapters, effectively capturing knowledge within the same task. Experimental results consistently show that SAFM outperforms state-of-the-art (SOTA) methods, achieving comparable performance while utilizing less than 60% of the parameters.
• Abstract（参考訳）: 自然言語処理における継続的な学習は、進化するデータに適応し、破滅的な忘れを防止する上で重要な役割を担っている。 大幅な進歩にもかかわらず、既存の手法はタスク間の非効率なパラメータ再利用、タスクが相違する際の破滅的な忘れ込み、タスクごとに新しいパラメータを導入し、同様のタスク間の知識共有を阻害するといった課題に直面している。 これらの課題に対処するために,古いアダプタと新しいアダプタを動的に融合するスパースアダプタ融合法 (SAFM) を提案する。 SAFMは、決定段階とチューニング段階の2段階で動作する。 決定段階でSAFMは、新しいアダプタを組み込むか、既存のアダプタを再利用するか、空のアダプタを追加するかを決定する。 空のアダプタの再利用や追加を優先するように設計されたアーキテクチャ検索手順は、パラメータの消費を最小化し、再利用を最大化する。 チューニングの段階では、SAFMは特にレイヤーワイズロスを促進し、アダプタ間の差別化を促進し、同じタスク内での知識を効果的に取得する。 実験結果から、SAFMは最先端(SOTA)手法よりも優れており、パラメータの60%未満を生かしながら同等の性能を実現していることがわかった。

関連論文リスト

• Mixtures of SubExperts for Large Language Continual Learning [6.425296129700846]
  タスクの連続ストリームに大規模言語モデルを適用することは、決定的だが挑戦的な取り組みである。 1組のPEFTパラメータを新しいタスクに再利用すると、しばしば以前の知識を壊滅的に忘れてしまう。 本稿では,最小限の忘れ込みと効率のよい拡張性を実現するための,新しい連続学習フレームワークであるTextitMixtures of SubExperts (MoSEs)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T05:44:45Z)
• HAM: Hierarchical Adapter Merging for Scalable Continual Learning [5.958899330375292]
  新しい知識は、以前に学習した情報に干渉し、モデルが新しい知識に賛成する以前の知識を忘れる原因となる。 本稿では,HAM(Hierarchical Adapters Merging)について紹介する。 ハムは、特にタスクの数が増加するにつれて、最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2025-09-16T16:18:19Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
  現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。 学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。 本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
  論文  参考訳（メタデータ） (2024-06-07T19:10:35Z)
• Remembering Transformer for Continual Learning [9.879896956915598]
  本稿では,脳の補足学習システムにインスパイアされたリマインドトランスフォーマーを提案する。 覚えておくTransformerは、アダプタの混合アーキテクチャと、生成モデルに基づく新規性検出機構を採用している。 本研究は, 新奇性検出機構のアブレーション研究や, 適応剤のモデルキャパシティなど, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-04-11T07:22:14Z)
• E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network [57.87240860624937]
  本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
  論文  参考訳（メタデータ） (2022-07-14T09:04:51Z)
• AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
  数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。 近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。 本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
  論文  参考訳（メタデータ） (2022-04-30T16:49:41Z)
• Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
  GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-06T05:09:37Z)
• AdapterFusion: Non-Destructive Task Composition for Transfer Learning [104.9639614787314]
  逐次微調整とマルチタスク学習は、複数のタスクから知識を取り入れることを目的とした手法である。 本稿では,複数のタスクからの知識を活用する2段階学習アルゴリズムAdapterFusionを提案する。 提案手法は,マルチタスク学習だけでなく,フルチューニングやマルチタスク学習といった従来の戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T07:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。