論文の概要: MOS: Model Surgery for Pre-Trained Model-Based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2412.09441v1
• Date: Thu, 12 Dec 2024 16:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:29:33.155430
• Title: MOS: Model Surgery for Pre-Trained Model-Based Class-Incremental Learning
• Title（参考訳）: MOS: 事前学習モデルに基づくクラスインクリメンタルラーニングのためのモデル手術
• Authors: Hai-Long Sun, Da-Wei Zhou, Hanbin Zhao, Le Gan, De-Chuan Zhan, Han-Jia Ye,
• Abstract要約: CIL(Class-Incremental Learning)は、古いクラスを忘れずに、新しいクラスの知識を継続的に獲得するモデルを必要とする。 既存の作業は、モデルを調整するために軽量コンポーネントを活用することを目指している。 従来の知識を忘れないようにモデルを救うため, モーデル手術(MOS)を提案する。
• 参考スコア（独自算出の注目度）: 62.78292142632335
• License:
• Abstract: Class-Incremental Learning (CIL) requires models to continually acquire knowledge of new classes without forgetting old ones. Despite Pre-trained Models (PTMs) have shown excellent performance in CIL, catastrophic forgetting still occurs as the model learns new concepts. Existing work seeks to utilize lightweight components to adjust the PTM, while the forgetting phenomenon still comes from {\em parameter and retrieval} levels. Specifically, iterative updates of the model result in parameter drift, while mistakenly retrieving irrelevant modules leads to the mismatch during inference. To this end, we propose MOdel Surgery (MOS) to rescue the model from forgetting previous knowledge. By training task-specific adapters, we continually adjust the PTM to downstream tasks. To mitigate parameter-level forgetting, we present an adapter merging approach to learn task-specific adapters, which aims to bridge the gap between different components while reserve task-specific information. Besides, to address retrieval-level forgetting, we introduce a training-free self-refined adapter retrieval mechanism during inference, which leverages the model's inherent ability for better adapter retrieval. By jointly rectifying the model with those steps, MOS can robustly resist catastrophic forgetting in the learning process. Extensive experiments on seven benchmark datasets validate MOS's state-of-the-art performance. Code is available at: https://github.com/sun-hailong/AAAI25-MOS
• Abstract（参考訳）: CIL(Class-Incremental Learning)は、古いクラスを忘れずに、新しいクラスの知識を継続的に獲得するモデルを必要とする。 事前学習モデル(PTM)はCILにおいて優れた性能を示したが、モデルが新しい概念を学ぶと大惨な忘れが生ずる。 既存の作業では、軽量なコンポーネントを使用してPTMを調整することを目指しているが、忘れられる現象は依然として {\emパラメータと検索のレベルから来ている。 具体的には、モデルの反復的な更新によってパラメータのドリフトが発生し、不適切なモジュールを誤って取り出すと、推論中にミスマッチが発生する。 そこで本研究では,従来の知識を忘れないようにモデルを救うため,モーデル手術(MOS)を提案する。 タスク固有のアダプタをトレーニングすることで、PTMを下流タスクに継続的に調整する。 パラメータレベルの誤りを軽減するために,タスク固有の情報を保持しながら,異なるコンポーネント間のギャップを埋めることを目的とした,タスク固有のアダプタを学習するためのアダプタマージ手法を提案する。 さらに,検索レベルの誤りに対処するため,推論中に学習不要な自己修正型アダプタ検索機構を導入し,モデル固有の能力を活用してより優れたアダプタ検索を実現する。 これらのステップでモデルを共同で修正することで、MOSは学習過程における破滅的な忘れ物に強く抵抗することができる。 7つのベンチマークデータセットに対する大規模な実験は、MOSの最先端のパフォーマンスを検証する。 コードは、https://github.com/sun-hailong/AAAI25-MOSで入手できる。

関連論文リスト

• ATLAS: Adapter-Based Multi-Modal Continual Learning with a Two-Stage Learning Strategy [12.150065431702055]
  本稿では,経験ベース学習と新規知識拡張からなるマルチモーダル連続学習手法を提案する。 提案手法は,従来のタスクを忘れることによる負の影響を最小限に抑えつつ,上流での表現の分布を拡大する。
  論文  参考訳（メタデータ） (2024-10-14T13:29:42Z)
• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion [10.322832012497722]
  クラス増分学習(class-incremental learning)は難しい問題であり、目標は、時間とともに増加するクラスからデータを分類できるモデルをトレーニングすることである。 CLIPのような視覚言語で事前訓練されたモデルの進歩により、彼らは優れた一般化能力を示した。 しかし、単にモデルを微調整することで、下流タスクへのさらなる適応は、ひどく忘れてしまう。 事前訓練されたモデルを用いた既存の研究の多くは、モデルが新しい知識を得るとき、古いクラスを忘れることは一様であると仮定している。
  論文  参考訳（メタデータ） (2024-07-19T09:20:33Z)
• Semantically-Shifted Incremental Adapter-Tuning is A Continual ViTransformer [44.10678347943115]
  クラスインクリメンタルラーニング(CIL)は、モデルが破滅的な忘れを克服しつつ、新しいクラスを継続的に学習できるようにすることを目的としている。 本稿では,連続学習の文脈において,異なるパラメータ効率チューニング(PET)手法を再検討する。 適応チューニングは,各学習セッションにおいてパラメータ拡張がなくても,プロンプトベースの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-29T05:23:12Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Efficient Adaptive Human-Object Interaction Detection with Concept-guided Memory [64.11870454160614]
  概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。 ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。 提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
  論文  参考訳（メタデータ） (2023-09-07T13:10:06Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。