論文の概要: Class-Incremental Learning via Knowledge Amalgamation

• arxiv url: http://arxiv.org/abs/2209.02112v1
• Date: Mon, 5 Sep 2022 19:49:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 12:51:04.602573
• Title: Class-Incremental Learning via Knowledge Amalgamation
• Title（参考訳）: 知識融合による授業インクリメンタルラーニング
• Authors: Marcus de Carvalho, Mahardhika Pratama, Jie Zhang, Yajuan San
• Abstract要約: 破滅的な忘れ込みは、継続的な学習環境におけるディープラーニングアルゴリズムの展開を妨げる重要な問題である。 我々は、知識の融合(CFA)による破滅的な忘れを解消するための代替戦略を提唱した。 CFAは、過去のタスクに特化した複数の異種教師モデルから学生ネットワークを学習し、現在のオフライン手法に適用することができる。
• 参考スコア（独自算出の注目度）: 14.513858688486701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting has been a significant problem hindering the deployment of deep learning algorithms in the continual learning setting. Numerous methods have been proposed to address the catastrophic forgetting problem where an agent loses its generalization power of old tasks while learning new tasks. We put forward an alternative strategy to handle the catastrophic forgetting with knowledge amalgamation (CFA), which learns a student network from multiple heterogeneous teacher models specializing in previous tasks and can be applied to current offline methods. The knowledge amalgamation process is carried out in a single-head manner with only a selected number of memorized samples and no annotations. The teachers and students do not need to share the same network structure, allowing heterogeneous tasks to be adapted to a compact or sparse data representation. We compare our method with competitive baselines from different strategies, demonstrating our approach's advantages.
• Abstract（参考訳）: 破滅的な忘れは、継続的な学習環境におけるディープラーニングアルゴリズムの展開を妨げる重要な問題である。 エージェントが新しいタスクを学習しながら、古いタスクの一般化能力を失う破滅的な忘れの問題に対処するために、多くの方法が提案されている。 我々は,従来のタスクを専門とする多種多様な教師モデルから学生のネットワークを学習し,現在のオフライン手法に適用可能な,破滅的な忘れを知識の融合(CFA)で処理するための代替戦略を提案した。 知識融合処理は、選択された数の記憶されたサンプルと注釈のない単頭方式で行われる。 教師と生徒は同じネットワーク構造を共有する必要はなく、不均一なタスクをコンパクトまたはスパースなデータ表現に適応させることができる。 本手法を異なる戦略の競合ベースラインと比較し,アプローチの利点を実証した。

関連論文リスト

• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Clustering-based Domain-Incremental Learning [4.835091081509403]
  連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。 動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。 提案手法の有効性と将来性を示す。
  論文  参考訳（メタデータ） (2023-09-21T13:49:05Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• A Multi-label Continual Learning Framework to Scale Deep Learning Approaches for Packaging Equipment Monitoring [57.5099555438223]
  連続シナリオにおけるマルチラベル分類を初めて研究した。 タスク数に関して対数的複雑性を持つ効率的なアプローチを提案する。 我々は,包装業界における実世界のマルチラベル予測問題に対するアプローチを検証した。
  論文  参考訳（メタデータ） (2022-08-08T15:58:39Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Curriculum Learning: A Survey [65.31516318260759]
  カリキュラム学習戦略は、機械学習のあらゆる分野で成功している。 我々は,様々な分類基準を考慮して,カリキュラム学習アプローチの分類を手作業で構築する。 集約型クラスタリングアルゴリズムを用いて,カリキュラム学習手法の階層木を構築する。
  論文  参考訳（メタデータ） (2021-01-25T20:08:32Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。