論文の概要: DER: Dynamically Expandable Representation for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2103.16788v1
• Date: Wed, 31 Mar 2021 03:16:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 03:37:59.893622
• Title: DER: Dynamically Expandable Representation for Class Incremental Learning
• Title（参考訳）: der: クラスインクリメンタル学習のための動的拡張可能な表現
• Authors: Shipeng Yan, Jiangwei Xie, Xuming He
• Abstract要約: 適応型視覚知能の実現に向けた中核的なステップであるクラスインクリメンタル学習の課題に対処する。 より効果的なインクリメンタルな概念モデリングに動的に拡張可能な表現を利用する新しい2段階学習手法を提案する。 我々は,3種類のインクリメンタル学習ベンチマークを広範囲に実験し,その手法が他の手法よりも高いマージンを示した。
• 参考スコア（独自算出の注目度）: 30.573653645134524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the problem of class incremental learning, which is a core step towards achieving adaptive vision intelligence. In particular, we consider the task setting of incremental learning with limited memory and aim to achieve better stability-plasticity trade-off. To this end, we propose a novel two-stage learning approach that utilizes a dynamically expandable representation for more effective incremental concept modeling. Specifically, at each incremental step, we freeze the previously learned representation and augment it with additional feature dimensions from a new learnable feature extractor. This enables us to integrate new visual concepts with retaining learned knowledge. We dynamically expand the representation according to the complexity of novel concepts by introducing a channel-level mask-based pruning strategy. Moreover, we introduce an auxiliary loss to encourage the model to learn diverse and discriminate features for novel concepts. We conduct extensive experiments on the three class incremental learning benchmarks and our method consistently outperforms other methods with a large margin.
• Abstract（参考訳）: 適応型視覚知能の実現に向けた中核的なステップであるクラスインクリメンタル学習の課題に対処する。 特に,メモリ制限のあるインクリメンタル学習のタスク設定を検討し,安定性と可塑性のトレードオフを改善することを目的としている。 そこで本研究では,より効果的なインクリメンタルな概念モデリングに動的に拡張可能な表現を利用する,新しい2段階学習手法を提案する。 具体的には、インクリメンタルなステップ毎に、学習した表現を凍結し、新しい学習可能な特徴抽出器から追加の機能ディメンションで拡張します。 これにより、学習した知識を保持することで、新しい視覚概念を統合することができます。 チャネルレベルのマスクベースのプルーニング戦略を導入することにより,新しい概念の複雑さに応じた表現を動的に拡張する。 さらに,新しい概念の多様な特徴を学習し,識別することをモデルに促す補助的損失を導入する。 我々は,3種類のインクリメンタル学習ベンチマークを広範囲に実験し,その手法が他の手法よりも高いマージンを示した。

関連論文リスト

• Latent-Predictive Empowerment: Measuring Empowerment without a Simulator [56.53777237504011]
  我々は、より実用的な方法でエンパワーメントを計算するアルゴリズムであるLatent-Predictive Empowerment(LPE)を提案する。 LPEは、スキルと国家間の相互情報の原則的な置き換えである目的を最大化することで、大きなスキルセットを学習する。
  論文  参考訳（メタデータ） (2024-10-15T00:41:18Z)
• Enhancing Continual Learning in Visual Question Answering with Modality-Aware Feature Distillation [48.071162716120334]
  入力のマルチモーダルな性質がモデルの学習力学に与える影響について検討する。 本研究の目的は, モダリティ対応型特徴蒸留 (MAFED) 方式を提案することである。
  論文  参考訳（メタデータ） (2024-06-27T16:12:57Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• Continual Representation Learning for Biometric Identification [47.15075374158398]
  本稿では,連続的な表現の学習に焦点をあてた「連続的な表現の学習」という,新たなCL(Continuous Learning)設定を提案する。 既存のCL手法が新しい設定での表現を改善することを実証し,提案手法は競合手法よりも優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-06-08T10:18:06Z)
• Progressive Learning and Disentanglement of Hierarchical Representations [10.201945347770643]
  本稿では,ハイレベルから低レベルの抽象化から,独立した階層表現を段階的に学習する戦略を提案する。 提案したモデルが既存の作品と比較して歪みを改善する能力について定量的に示す。
  論文  参考訳（メタデータ） (2020-02-24T21:19:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。