論文の概要: Distribution-Level Memory Recall for Continual Learning: Preserving Knowledge and Avoiding Confusion

• arxiv url: http://arxiv.org/abs/2408.02695v1
• Date: Sun, 4 Aug 2024 07:37:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 16:17:55.119889
• Title: Distribution-Level Memory Recall for Continual Learning: Preserving Knowledge and Avoiding Confusion
• Title（参考訳）: 連続学習のための分散レベルメモリリコール:知識の保存とコンフュージョン回避
• Authors: Shaoxu Cheng, Kanglei Geng, Chiyuan He, Zihuan Qiu, Linfeng Xu, Heqian Qiu, Lanxiao Wang, Qingbo Wu, Fanman Meng, Hongliang Li,
• Abstract要約: 継続学習(CL)は、DNNが学習した知識を忘れずに新しいデータを学習できるようにすることを目的としている。 この目標を達成するための鍵は、機能レベルでの混乱を避け、古いタスクと新しいタスクと古いタスクの混同を避けることである。 従来のプロトタイプベースCL法は,ガウスノイズを古いクラスのセントロイドに付加することにより,古い知識再生のための擬似特徴を生成する。 本稿では,ガウス混合モデルを用いて,従来の知識の特徴分布に正確に適合する分散レベルメモリリコール法を提案する。
• 参考スコア（独自算出の注目度）: 16.048033746416476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning (CL) aims to enable Deep Neural Networks (DNNs) to learn new data without forgetting previously learned knowledge. The key to achieving this goal is to avoid confusion at the feature level, i.e., avoiding confusion within old tasks and between new and old tasks. Previous prototype-based CL methods generate pseudo features for old knowledge replay by adding Gaussian noise to the centroids of old classes. However, the distribution in the feature space exhibits anisotropy during the incremental process, which prevents the pseudo features from faithfully reproducing the distribution of old knowledge in the feature space, leading to confusion in classification boundaries within old tasks. To address this issue, we propose the Distribution-Level Memory Recall (DMR) method, which uses a Gaussian mixture model to precisely fit the feature distribution of old knowledge at the distribution level and generate pseudo features in the next stage. Furthermore, resistance to confusion at the distribution level is also crucial for multimodal learning, as the problem of multimodal imbalance results in significant differences in feature responses between different modalities, exacerbating confusion within old tasks in prototype-based CL methods. Therefore, we mitigate the multi-modal imbalance problem by using the Inter-modal Guidance and Intra-modal Mining (IGIM) method to guide weaker modalities with prior information from dominant modalities and further explore useful information within modalities. For the second key, We propose the Confusion Index to quantitatively describe a model's ability to distinguish between new and old tasks, and we use the Incremental Mixup Feature Enhancement (IMFE) method to enhance pseudo features with new sample features, alleviating classification confusion between new and old knowledge.
• Abstract（参考訳）: 継続学習(CL)は、Deep Neural Networks(DNN)が、学習済みの知識を忘れずに、新しいデータを学習できるようにすることを目的としている。 この目標を達成するための鍵は、機能レベルでの混乱を避けること、すなわち、古いタスクと新しいタスクと古いタスクの混同を避けることである。 従来のプロトタイプベースCL法は,ガウスノイズを古いクラスのセントロイドに付加することにより,古い知識再生のための擬似特徴を生成する。 しかし、特徴空間の分布は漸進的過程の間に異方性を示すため、擬似的特徴が特徴空間における古い知識の分布を忠実に再現することを防ぎ、古いタスクの分類境界が混乱する。 この問題に対処するために,ガウス混合モデルを用いて,古知識の特徴分布を分布レベルで正確に適合させ,次の段階で擬似特徴を生成する分散レベルメモリリコール法を提案する。 さらに, 分散レベルの混乱に対する耐性は, 多モーダル不均衡の問題が, 異なるモーダル間の特徴応答に有意な差をもたらし, 試作CL法における古いタスクの混乱を悪化させるため, 多モーダル学習においても重要である。 そこで,本研究では,モーダル間誘導・イントラモーダルマイニング(IGIM)法を用いて,支配的モダリティからの事前情報を用いて弱いモダリティを誘導し,モダリティ内で有用な情報を探るため,マルチモーダル不均衡問題を緩和する。 第2のキーとして、新しいタスクと古いタスクを区別するモデルの能力を定量的に記述するコンフュージョン指標を提案し、インクリメンタル・ミックス・フィーチャー・エンハンスメント(IMFE)法を用いて、新しいサンプル特徴で擬似特徴を増強し、新しい知識と古い知識の分類的混乱を緩和する。

関連論文リスト

• Joint Input and Output Coordination for Class-Incremental Learning [84.36763449830812]
  本稿では,これらの問題に対処するためのJIOC機構を提案する。 このメカニズムは、出力スコアの勾配に応じて異なるカテゴリのデータに異なる重みを割り当てる。 メモリストレージを使用するさまざまなインクリメンタルな学習アプローチに組み込むことができる。
  論文  参考訳（メタデータ） (2024-09-09T13:55:07Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Latent-based Diffusion Model for Long-tailed Recognition [10.410057703866899]
  長い尾の不均衡分布は、実用的なコンピュータビジョンアプリケーションにおいて一般的な問題である。 そこで本稿では,Long-tailed Recognition (LDMLR) のための遅延型拡散モデル(Latent-based Diffusion Model for Long-tailed Recognition)を提案する。 モデルの精度は,提案手法を用いてCIFAR-LTおよびImageNet-LTデータセットの改善を示す。
  論文  参考訳（メタデータ） (2024-04-06T06:15:07Z)
• MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning [10.95493493610559]
  マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。 特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。 公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
  論文  参考訳（メタデータ） (2024-02-27T16:54:08Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。