論文の概要: Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning

• arxiv url: http://arxiv.org/abs/2410.00911v1
• Date: Tue, 1 Oct 2024 17:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 00:09:47.570070
• Title: Dual Consolidation for Pre-Trained Model-Based Domain-Incremental Learning
• Title（参考訳）: 事前学習モデルに基づくドメイン・インクリメンタル・ラーニングのためのデュアル・コンソリデーション
• Authors: Da-Wei Zhou, Zi-Wen Cai, Han-Jia Ye, Lijun Zhang, De-Chuan Zhan,
• Abstract要約: ドメイン・インクリメンタル・ラーニング(ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、Domain-Incremental Learning、DIL)は、異なるドメインにまたがる新しい概念へのモデルの漸進的な適応を含む。 プレトレーニングモデルの最近の進歩は、DILの確かな基盤を提供する。 しかし、新しい概念を学ぶことは、しばしば、事前訓練された知識を破滅的に忘れてしまう。 本稿では,歴史的知識の統一と統合を図るために,デュアルコンソリデータティオン(ドゥクト)を提案する。
• 参考スコア（独自算出の注目度）: 64.1745161657794
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain-Incremental Learning (DIL) involves the progressive adaptation of a model to new concepts across different domains. While recent advances in pre-trained models provide a solid foundation for DIL, learning new concepts often results in the catastrophic forgetting of pre-trained knowledge. Specifically, sequential model updates can overwrite both the representation and the classifier with knowledge from the latest domain. Thus, it is crucial to develop a representation and corresponding classifier that accommodate all seen domains throughout the learning process. To this end, we propose DUal ConsolidaTion (Duct) to unify and consolidate historical knowledge at both the representation and classifier levels. By merging the backbone of different stages, we create a representation space suitable for multiple domains incrementally. The merged representation serves as a balanced intermediary that captures task-specific features from all seen domains. Additionally, to address the mismatch between consolidated embeddings and the classifier, we introduce an extra classifier consolidation process. Leveraging class-wise semantic information, we estimate the classifier weights of old domains within the latest embedding space. By merging historical and estimated classifiers, we align them with the consolidated embedding space, facilitating incremental classification. Extensive experimental results on four benchmark datasets demonstrate Duct's state-of-the-art performance.
• Abstract（参考訳）: ドメイン・インクリメンタル・ラーニング(ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、ドメイン・インクリメンタル・ラーニング、Domain-Incremental Learning、DIL)は、異なるドメインにまたがる新しい概念へのモデルの漸進的な適応を含む。 事前学習モデルの最近の進歩は、DILの確かな基盤を提供する一方で、新しい概念を学ぶことは、しばしば、事前訓練された知識を破滅的に忘れてしまう。 具体的には、シーケンシャルモデル更新は、表現と分類器の両方を最新のドメインからの知識で上書きすることができる。 したがって、学習プロセス全体を通して、すべての目に見えるドメインに対応する表現とそれに対応する分類器を開発することが重要である。 そこで本稿では,歴史的知識を表現レベルと分類レベルの両方で統一・統合するドゥアル・コンソリデータティオン(デュアル・コンソリデータティオン,Duct)を提案する。 異なるステージのバックボーンをマージすることにより、複数のドメインに適した表現空間を段階的に作成する。 マージされた表現は、すべてのドメインからタスク固有の特徴をキャプチャするバランスの取れた仲介役として機能する。 さらに,統合埋め込みと分類器のミスマッチに対処するために,余分な分類器統合プロセスを導入する。 クラスワイドのセマンティック情報を活用することで、最新の埋め込み空間内の古いドメインの分類器重みを推定する。 歴史的および推定された分類器をマージすることにより、それらを統合された埋め込み空間と整合させ、漸進的な分類を容易にする。 4つのベンチマークデータセットの大規模な実験結果は、Ductの最先端のパフォーマンスを示している。

関連論文リスト

• Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
  本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。 プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。 その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
  論文  参考訳（メタデータ） (2023-12-13T13:11:44Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Incremental Few-Shot Semantic Segmentation via Embedding Adaptive-Update and Hyper-class Representation [30.558312809285905]
  EHNetは、目覚ましいアドバンテージで、最先端の新たなパフォーマンスを実現している。 PASCAL-5iとCOCOデータセットの実験により、EHNetは、目覚ましいアドバンテージで新しい最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2022-07-26T15:20:07Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression [53.90578309960526]
  大規模事前学習言語モデル(PLM)は、従来のニューラルネットワーク手法と比較して圧倒的な性能を示している。 階層的および領域的関係情報の両方を抽出する階層的関係知識蒸留法(HRKD)を提案する。
  論文  参考訳（メタデータ） (2021-10-16T11:23:02Z)
• Context-Conditional Adaptation for Recognizing Unseen Classes in Unseen Domains [48.17225008334873]
  我々は,COCOA (COntext Conditional Adaptive) Batch-Normalization と統合された特徴生成フレームワークを提案する。 生成されたビジュアル機能は、基礎となるデータ分散をよりよくキャプチャすることで、テスト時に見つからないクラスやドメインに一般化できます。 確立した大規模ベンチマークであるDomainNetに対する我々のアプローチを徹底的に評価し、分析する。
  論文  参考訳（メタデータ） (2021-07-15T17:51:16Z)
• Universal Representation Learning from Multiple Domains for Few-shot Classification [41.821234589075445]
  複数の個別に訓練されたネットワークの知識を蒸留し,一組の普遍的な深層表現を学習することを提案する。 より効率的な適応ステップにより、未確認領域に対する普遍表現をさらに洗練できることが示される。
  論文  参考訳（メタデータ） (2021-03-25T13:49:12Z)
• Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation [56.694330303488435]
  マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。 簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-07-17T07:52:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。