論文の概要: Addressing the Stability-Plasticity Dilemma via Knowledge-Aware Continual Learning

• arxiv url: http://arxiv.org/abs/2110.05329v1
• Date: Mon, 11 Oct 2021 14:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:35:34.265520
• Title: Addressing the Stability-Plasticity Dilemma via Knowledge-Aware Continual Learning
• Title（参考訳）: 知識認識型連続学習による安定性-弾塑性ジレンマへの取り組み
• Authors: Ghada Sokar, Decebal Constantin Mocanu, Mykola Pechenizkiy
• Abstract要約: 既存の知識を意識することは,(1)類似知識からの転送量の増加,(2)既存の知識を活用して必要な能力の削減,(4)シーケンス内のクラスオーダーに対するロバスト性の向上などに役立つことを示す。 本研究は,CIFAR-10とCIFAR-100という2つのクラス増分学習用ベンチマークから構築した類似タスクのシーケンス,異種タスク,および両者の混合について評価する。
• 参考スコア（独自算出の注目度）: 5.979373021392084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning agents should incrementally learn a sequence of tasks while satisfying two main desiderata: accumulating on previous knowledge without forgetting and transferring previous relevant knowledge to help in future learning. Existing research largely focuses on alleviating the catastrophic forgetting problem. There, an agent is altered to prevent forgetting based solely on previous tasks. This hinders the balance between preventing forgetting and maximizing the forward transfer. In response to this, we investigate the stability-plasticity dilemma to determine which model components are eligible to be reused, added, fixed, or updated to achieve this balance. We address the class incremental learning scenario where the agent is prone to ambiguities between old and new classes. With our proposed Knowledge-Aware contiNual learner (KAN), we demonstrate that considering the semantic similarity between old and new classes helps in achieving this balance. We show that being aware of existing knowledge helps in: (1) increasing the forward transfer from similar knowledge, (2) reducing the required capacity by leveraging existing knowledge, (3) protecting dissimilar knowledge, and (4) increasing robustness to the class order in the sequence. We evaluated sequences of similar tasks, dissimilar tasks, and a mix of both constructed from the two commonly used benchmarks for class-incremental learning; CIFAR-10 and CIFAR-100.
• Abstract（参考訳）: 継続学習エージェントは、次の学習を支援するために、過去の知識を忘れたり、転送したりすることなく、以前の知識を蓄積する2つの主要なデシダータを満足させながら、タスクの連続を漸進的に学習すべきである。 既存の研究は主に破滅的な忘れの問題を軽減することに焦点を当てている。 エージェントが変更されて、以前のタスクのみに基づいて忘れることを防止する。 これは、忘れることと転送の最大化のバランスを妨げます。 これに対応するために,安定性・塑性ジレンマを調査し,このバランスを達成するためにどのモデルコンポーネントが再利用,追加,固定,更新されるかを決定する。 エージェントが古いクラスと新しいクラスのあいまいさに悩まされるクラスインクリメンタルな学習シナリオに対処する。 提案するKAN(Knowledge-Aware ContiNual Learninger)を用いて,古クラスと新クラスの意味的類似性を考慮することで,このバランスを達成できることを実証する。 既存の知識に気付くことは,(1)類似知識からの前方移動の増大,(2)既存知識の活用による必要な能力の削減,(3)異質な知識の保護,(4)シーケンスのクラス順序に対する堅牢性の向上,といった点において有効である。 CIFAR-10 と CIFAR-100 の2つのクラス増分学習用ベンチマークから構築した類似タスクのシーケンス,異種タスク,および両者の混合について検討した。

関連論文リスト

• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• Recall-Oriented Continual Learning with Generative Adversarial Meta-Model [5.710971447109951]
  本稿では,安定性・塑性ジレンマに対処するリコール指向連続学習フレームワークを提案する。 人間の脳が安定性と可塑性のメカニズムを分離する能力に触発されて、私たちのフレームワークは2段階のアーキテクチャで構成されています。 我々は,新たな知識を効果的に学習するだけでなく,従来の知識の安定性も高いことを示す。
  論文  参考訳（メタデータ） (2024-03-05T16:08:59Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Progressive Learning without Forgetting [8.563323015260709]
  連続学習(CL)のパラダイムにおける2つの課題に焦点をあてる。 PLwFは従来のタスクから関数を導入し、各タスクの最も信頼できる知識を含む知識空間を構築する。 信用割当は、投射を通して勾配の衝突を取り除くことによって、綱引きのダイナミクスを制御する。 他のCL法と比較して,生データに頼らずとも,優れた結果が得られている。
  論文  参考訳（メタデータ） (2022-11-28T10:53:14Z)
• Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer [39.99577526417276]
  継続学習(CL)では、エージェントは、新しいタスクと古いタスクの両方の学習性能を向上させることができる。 既存のCL手法の多くは、古いタスクに対する学習モデルの修正を最小化することによって、ニューラルネットワークの破滅的な忘れに対処することに焦点を当てている。 データ再生のない固定容量ニューラルネットワークに対して,バックワードノウルEdge tRansfer (CUBER) を用いた新しいCL法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T23:55:51Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Continual Prompt Tuning for Dialog State Tracking [58.66412648276873]
  望ましいダイアログシステムは、古いスキルを忘れずに継続的に新しいスキルを学ぶことができるべきである。 本稿では,タスク間の知識伝達を可能にするパラメータ効率フレームワークであるContinuous Prompt Tuningを提案する。
  論文  参考訳（メタデータ） (2022-03-13T13:22:41Z)
• Discriminative Distillation to Reduce Class Confusion in Continual Learning [57.715862676788156]
  クラス混乱は、連続学習における分類性能の低下に寄与する。 本稿では,クラス間の識別的特徴を適切に学習する上で,識別的蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-11T12:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。