論文の概要: HAM: Hierarchical Adapter Merging for Scalable Continual Learning

• arxiv url: http://arxiv.org/abs/2509.13211v1
• Date: Tue, 16 Sep 2025 16:18:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:53.166452
• Title: HAM: Hierarchical Adapter Merging for Scalable Continual Learning
• Title（参考訳）: HAM: スケーラブルな継続的学習のための階層型アダプタマージ
• Authors: Eric Nuertey Coleman, Luigi Quarantiello, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco,
• Abstract要約: 新しい知識は、以前に学習した情報に干渉し、モデルが新しい知識に賛成する以前の知識を忘れる原因となる。 本稿では,HAM(Hierarchical Adapters Merging)について紹介する。 ハムは、特にタスクの数が増加するにつれて、最先端の手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 5.958899330375292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning is an essential capability of human cognition, yet it poses significant challenges for current deep learning models. The primary issue is that new knowledge can interfere with previously learned information, causing the model to forget earlier knowledge in favor of the new, a phenomenon known as catastrophic forgetting. Although large pre-trained models can partially mitigate forgetting by leveraging their existing knowledge and over-parameterization, they often struggle when confronted with novel data distributions. Parameter-Efficient Fine-Tuning (PEFT) methods, such as LoRA, enable efficient adaptation to new knowledge. However, they still face challenges in scaling to dynamic learning scenarios and long sequences of tasks, as maintaining one adapter per task introduces complexity and increases the potential for interference. In this paper, we introduce Hierarchical Adapters Merging (HAM), a novel framework that dynamically combines adapters from different tasks during training. This approach enables HAM to scale effectively, allowing it to manage more tasks than competing baselines with improved efficiency. To achieve this, HAM maintains a fixed set of groups that hierarchically consolidate new adapters. For each task, HAM trains a low-rank adapter along with an importance scalar, then dynamically groups tasks based on adapter similarity. Within each group, adapters are pruned, scaled and merge, facilitating transfer learning between related tasks. Extensive experiments on three vision benchmarks show that HAM significantly outperforms state-of-the-art methods, particularly as the number of tasks increases.
• Abstract（参考訳）: 継続的な学習は人間の認知にとって不可欠な能力であるが、現在のディープラーニングモデルには重大な課題が伴う。 第一の問題は、新しい知識が以前に学習された情報に干渉し、モデルが新しい知識を忘れてしまうことである。 大きな事前訓練されたモデルは、既存の知識と過度パラメータ化を活用することで、忘れを部分的に軽減することができるが、新しいデータ分布に直面すると、しばしば苦労する。 LoRAのようなパラメータ効率の良いファインチューニング(PEFT)手法は、新しい知識への効率的な適応を可能にする。 しかしながら、動的学習シナリオやタスクの長いシーケンスへのスケーリングでは、タスク毎のアダプタのメンテナンスが複雑さを導入し、干渉の可能性を高めているため、依然として課題に直面している。 本稿では,HAM(Hierarchical Adapters Merging)について紹介する。 このアプローチにより、HAMは効果的にスケールでき、効率を向上して、競合するベースラインよりも多くのタスクを管理することができる。 これを実現するため、HAMは新しいアダプタを階層的に統合する固定されたグループのセットを維持している。 各タスクに対して、HAMは重要なスカラーとともに低ランクのアダプタをトレーニングし、それからアダプタの類似性に基づいて動的にタスクをグループ化する。 各グループ内では、アダプタはプルーニングされ、スケールされ、マージされ、関連するタスク間の移行学習を容易にする。 3つのビジョンベンチマークの大規模な実験により、HAMは、特にタスク数が増加するにつれて、最先端の手法を著しく上回っていることが示されている。

関連論文リスト

• CL-LoRA: Continual Low-Rank Adaptation for Rehearsal-Free Class-Incremental Learning [8.81873424028249]
  CIL (Class-Incremental Learning) は、学習した授業の知識を維持しつつ、新しいクラスを逐次学習することを目的としている。 我々は,textbftask-sharedアダプタを併用して,クロスタスク知識とtextbftask-specific Adapter を学習し,各タスクのユニークな特徴を捉えた新しいデュアルアダプタアーキテクチャを提案する。 CL-LoRAは、トレーニングと推論の計算を減らし、複数のベンチマークで常に有望な性能を達成することを実証する。
  論文  参考訳（メタデータ） (2025-05-30T17:19:52Z)
• LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models [21.888139819188105]
  LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。 Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。 Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
  論文  参考訳（メタデータ） (2025-03-27T07:36:11Z)
• Linked Adapters: Linking Past and Future to Present for Effective Continual Learning [3.7166121807265045]
  継続的な学習により、システムは、以前のタスクから得た知識を維持しながら、新しいタスクを学習し、適応することができる。 ディープラーニングモデルは、新しいタスクを学習しながら、以前のタスクから学んだ知識を破滅的に忘れてしまう。 本稿では,他のタスク固有のアダプタに重み付けされた注意機構を通じて知識を伝達する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-14T05:25:17Z)
• Lifelong Sequence Generation with Dynamic Module Expansion and Adaptation [39.886149621730915]
  寿命シーケンス生成(LSG)は、連続した世代タスクに基づいてモデルを継続的に訓練し、常に新しい世代パターンを学ぶことを目的としている。 人間の学習パラダイムにヒントを得て,動的モジュール拡張適応(DMEA)を提案する。 DMEAにより、タスク相関に基づいて新しい知識を取得するためのアーキテクチャを動的に決定し、最も類似したタスクを選択して、新しいタスクへの適応を容易にすることができる。
  論文  参考訳（メタデータ） (2023-10-15T16:51:11Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Efficient Adaptive Human-Object Interaction Detection with Concept-guided Memory [64.11870454160614]
  概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。 ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。 提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
  論文  参考訳（メタデータ） (2023-09-07T13:10:06Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• Effective Adaptation in Multi-Task Co-Training for Unified Autonomous Driving [103.745551954983]
  本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。 彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。 汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T12:15:31Z)
• Uniform Priors for Data-Efficient Transfer [65.086680950871]
  もっとも移動可能な特徴は埋め込み空間において高い均一性を有することを示す。 我々は、未確認のタスクやデータへの適応を容易にする能力の正規化を評価する。
  論文  参考訳（メタデータ） (2020-06-30T04:39:36Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。