論文の概要: On Learning the Geodesic Path for Incremental Learning

• arxiv url: http://arxiv.org/abs/2104.08572v1
• Date: Sat, 17 Apr 2021 15:26:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:28:40.082163
• Title: On Learning the Geodesic Path for Incremental Learning
• Title（参考訳）: 増分学習のための測地経路の学習について
• Authors: Christian Simon, Piotr Koniusz, Mehrtash Harandi
• Abstract要約: ニューラルネットワークは、新しい知識を獲得する際に過去の知識を忘れる現象である壊滅的な忘れの問題にひどく苦しんでいます。 破滅的な忘れを克服することは「漸進的学習」の過程をエミュレートする上で重要なことである 増分学習のための最先端の技術は、壊滅的な忘れ物を防ぐための知識蒸留を利用します。
• 参考スコア（独自算出の注目度）: 38.222736913855115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks notoriously suffer from the problem of catastrophic forgetting, the phenomenon of forgetting the past knowledge when acquiring new knowledge. Overcoming catastrophic forgetting is of significant importance to emulate the process of "incremental learning", where the model is capable of learning from sequential experience in an efficient and robust way. State-of-the-art techniques for incremental learning make use of knowledge distillation towards preventing catastrophic forgetting. Therein, one updates the network while ensuring that the network's responses to previously seen concepts remain stable throughout updates. This in practice is done by minimizing the dissimilarity between current and previous responses of the network one way or another. Our work contributes a novel method to the arsenal of distillation techniques. In contrast to the previous state of the art, we propose to firstly construct low-dimensional manifolds for previous and current responses and minimize the dissimilarity between the responses along the geodesic connecting the manifolds. This induces a more formidable knowledge distillation with smooth properties which preserves the past knowledge more efficiently as observed by our comprehensive empirical study.
• Abstract（参考訳）: ニューラルネットワークは、破滅的な忘れ忘れという問題、すなわち新しい知識を得る際に過去の知識を忘れてしまう現象に悩まされている。 破滅的な忘れを克服することは、モデルが逐次的な経験から効率的で堅牢な方法で学習できる"インクリメンタル学習"のプロセスをエミュレートする上で非常に重要である。 漸進的な学習のための最先端技術は、破滅的な忘れ込みを防ぐために知識蒸留を利用する。 これにより、ネットワークが以前見た概念に対する応答が更新を通して安定し続けることを保証しながら、ネットワークを更新する。 これは、ネットワークの現在の応答と以前の応答との相違を最小限にすることで実現される。 本研究は, 蒸留技術に新たな方法をもたらすものである。 先行技術とは対照的に, 先行および現在応答のための低次元多様体をまず構築し, 多様体を接続する測地線に沿った応答の不一致を最小限に抑えることを提案する。 これにより, 過去の知識をより効率的に保存できる, スムーズな性質を持つ, より強い知識蒸留がもたらされる。

関連論文リスト

• Continual Learning via Manifold Expansion Replay [36.27348867557826]
  破滅的な忘れは継続的な学習にとって大きな課題である。 我々はReplay Manifold Expansion (MaER)と呼ばれる新しいリプレイ戦略を提案する。 提案手法は,連続的な学習設定における精度を著しく向上し,芸術的状況よりも優れることを示す。
  論文  参考訳（メタデータ） (2023-10-12T05:09:27Z)
• Subspace Distillation for Continual Learning [27.22147868163214]
  本稿では,ニューラルネットワークの多様体構造を考慮した知識蒸留手法を提案する。 部分空間を用いたモデリングは、雑音に対するロバスト性など、いくつかの興味深い特性を提供することを示した。 実験により,提案手法は,いくつかの挑戦的データセットにおいて,様々な連続学習法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-07-31T05:59:09Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Uncertainty-aware Contrastive Distillation for Incremental Semantic Segmentation [46.14545656625703]
  破滅的な忘れ物とは、ニューラルネットワークが、新しいタスクを学ぶときに、古いタスクから得た知識を保存できない傾向があることです。 我々は新しい蒸留フレームワークである不確かさを意識したコントラスト蒸留法(メソッド)を提案する。 本研究は, 従来のIL法と相乗効果を持つ蒸留法の利点を実証するものである。
  論文  参考訳（メタデータ） (2022-03-26T15:32:12Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors [63.21036904487014]
  時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-04-28T07:49:24Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。