論文の概要: Enhancing knowledge retention for continual learning with domain-specific adapters and features gating

• arxiv url: http://arxiv.org/abs/2504.08613v1
• Date: Fri, 11 Apr 2025 15:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:18:01.710871
• Title: Enhancing knowledge retention for continual learning with domain-specific adapters and features gating
• Title（参考訳）: ドメイン固有アダプタとゲーティング機能を用いた継続的学習のための知識保持の強化
• Authors: Mohamed Abbas Hedjazi, Oussama Hadjerci, Adel Hafiane,
• Abstract要約: 継続的な学習は、以前に取得した知識を保持しながら、連続したデータのストリームから学習するモデルに力を与える。 本稿では,視覚変換器の自己保持機構にアダプタを組み込むことにより,異なるドメインからのデータセットを逐次追加する場合の知識保持を向上させる手法を提案する。
• 参考スコア（独自算出の注目度）: 4.637185817866919
• License:
• Abstract: Continual learning empowers models to learn from a continuous stream of data while preserving previously acquired knowledge, effectively addressing the challenge of catastrophic forgetting. In this study, we propose a new approach that integrates adapters within the self-attention mechanisms of Vision Transformers to enhance knowledge retention when sequentially adding datasets from different domains. Unlike previous methods that continue learning with only one dataset, our approach introduces domain-specific output heads and feature gating, allowing the model to maintain high accuracy on previously learned tasks while incorporating only the essential information from multiple domains. The proposed method is compared to prominent parameter-efficient fine-tuning methods in the current state of the art. The results provide evidence that our method effectively alleviates the limitations of previous works. Furthermore, we conduct a comparative analysis using three datasets, CIFAR-100, Flowers102, and DTD, each representing a distinct domain, to investigate the impact of task order on model performance. Our findings underscore the critical role of dataset sequencing in shaping learning outcomes, demonstrating that strategic ordering can significantly improve the model's ability to adapt to evolving data distributions over time while preserving the integrity of previously learned knowledge.
• Abstract（参考訳）: 継続的な学習は、これまでに取得した知識を保存しながら、連続したデータストリームから学習するモデルに力を与え、破滅的な忘れ込みの課題に効果的に対処する。 本研究では,視覚変換器の自己保持機構にアダプタを組み込んで,異なる領域からのデータセットを逐次追加する場合の知識保持を高める手法を提案する。 1つのデータセットで学習を続ける従来の方法とは異なり、本手法ではドメイン固有の出力ヘッドと機能ゲーティングを導入し、複数のドメインからの重要な情報のみを組み込んで、以前に学習したタスクに対して高い精度を維持することができる。 提案手法は,現在の最先端技術におけるパラメータ効率の優れた微調整手法と比較する。 その結果,本手法が先行研究の限界を効果的に緩和する証拠が得られた。 さらに,CIFAR-100, Flowers102, DTDの3つのデータセットを用いて比較分析を行い,タスク順序がモデル性能に与える影響について検討した。 本研究は,学習成果形成におけるデータセットシークエンシングの重要性を明らかにするとともに,従来学習されていた知識の整合性を維持しつつ,時間とともに進化するデータ分布に適応するモデルの能力を大幅に向上させることを実証した。

関連論文リスト

• Incrementally Learning Multiple Diverse Data Domains via Multi-Source Dynamic Expansion Model [16.035374682124846]
  継続学習は、事前知識を維持しつつ、新たな情報を漸進的に同化できるモデルの開発を目指している。 本稿では,複数の異なるドメインから抽出されたデータサンプルを特徴とする,より複雑で現実的な学習環境に焦点を移す。
  論文  参考訳（メタデータ） (2025-01-15T15:49:46Z)
• Research on the Online Update Method for Retrieval-Augmented Generation (RAG) Model with Incremental Learning [13.076087281398813]
  提案手法は,知識保持と推論精度の観点から,既存の主流比較モデルよりも優れている。 実験の結果,提案手法は知識保持と推論精度の観点から,既存の主流比較モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-01-13T05:16:14Z)
• Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [19.982853959240497]
  継続学習(CL)において、視覚言語モデル(VLM)の事前学習知識が維持可能か、あるいは強化可能かを検討する。 動的ランク選択ロラ(CoDyRA)に基づくVLMの普遍的かつ効率的な連続学習手法を提案する。
  論文  参考訳（メタデータ） (2024-12-01T23:41:42Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token [0.6144680854063939]
  ディープラーニングモデルは、新しいデータを継続的に学習する際に破滅的な忘れを見せる。 本稿では,従来のデータを保存することなく,過去の知識を保存できる新しい手法を提案する。 この方法は視覚変換器のアーキテクチャにインスパイアされ、各タスクの圧縮された知識をカプセル化できるユニークなトークンを使用する。
  論文  参考訳（メタデータ） (2024-11-06T16:13:50Z)
• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• Beyond Transfer Learning: Co-finetuning for Action Localisation [64.07196901012153]
  同時に、複数のアップストリームとダウンストリームのタスクで1つのモデルをトレーニングする。 共ファインタニングは、同じデータ量を使用する場合、従来のトランスファーラーニングよりも優れていることを示す。 さらに、複数のアップストリームデータセットへのアプローチを簡単に拡張して、パフォーマンスをさらに向上する方法も示しています。
  論文  参考訳（メタデータ） (2022-07-08T10:25:47Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• Contrastive Neural Processes for Self-Supervised Learning [1.8059331230167266]
  コントラスト学習とニューラルプロセスを組み合わせた,新たな自己教師型学習フレームワークを提案する。 これは、時系列予測を実行するために、最近のニューラルネットワークプロセスの進歩に依存している。 従来の自己教師型手法とは異なり、拡張パイプラインはタスクに依存しないため、様々なアプリケーションでうまく機能する。
  論文  参考訳（メタデータ） (2021-10-24T21:01:27Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。