論文の概要: Knowledge Accumulation in Continually Learned Representations and the
Issue of Feature Forgetting
- arxiv url: http://arxiv.org/abs/2304.00933v3
- Date: Thu, 29 Feb 2024 15:04:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 19:12:02.899042
- Title: Knowledge Accumulation in Continually Learned Representations and the
Issue of Feature Forgetting
- Title(参考訳): 連続学習表現における知識蓄積と特徴提示の課題
- Authors: Timm Hess, Eli Verwimp, Gido M. van de Ven, Tinne Tuytelaars
- Abstract要約: 新たに学習した情報は、出力レベルでの表現のレベルで破滅的に忘れられがちであることを示す。
また、知識の蓄積を著しく遅くするので、この機能を忘れることは問題であることも示しています。
- 参考スコア(独自算出の注目度): 37.582744804011455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning research has shown that neural networks suffer from
catastrophic forgetting "at the output level", but it is debated whether this
is also the case at the level of learned representations. Multiple recent
studies ascribe representations a certain level of innate robustness against
forgetting - that they only forget minimally and no critical information. We
revisit and expand upon the experiments that revealed this difference in
forgetting and illustrate the coexistence of two phenomena that affect the
quality of continually learned representations: knowledge accumulation and
feature forgetting. Carefully taking both aspects into account, we show that,
even though it is true that feature forgetting can be small in absolute terms,
newly learned information tends to be forgotten just as catastrophically at the
level of the representation as it is at the output level. Next we show that
this feature forgetting is problematic as it substantially slows down knowledge
accumulation. Finally, we study how feature forgetting and knowledge
accumulation are affected by different types of continual learning methods.
- Abstract(参考訳): 継続的な学習研究は、ニューラルネットワークが「出力レベルで」破滅的な忘れに苦しむことを示したが、これが学習表現のレベルでも同様であるかどうかも議論されている。
複数の最近の研究は、忘れることに対して固有の頑健さのレベルを表現している ― 最小限にしか忘れず、批判的な情報もない。
記憶の蓄積と特徴の忘れという2つの現象の共存が、継続的に学習される表現の質に影響を与えることを示す実験を再考し、拡張する。
両方の側面を慎重に考慮すると、機能忘れることは絶対的な意味では小さいが、新しく学習された情報は出力レベルの表現のレベルで壊滅的に忘れられがちであることを示している。
次に、知識の蓄積を大幅に遅らせるため、この機能を忘れることは問題であることを示す。
最後に,機能忘れと知識蓄積が,継続学習法の種類によってどのように影響を受けるかを検討する。
関連論文リスト
- Diagnosing Catastrophe: Large parts of accuracy loss in continual
learning can be accounted for by readout misalignment [0.0]
データ分散の変更に関するニューラルネットワークのトレーニングは、古いタスクのパフォーマンスを急速に低下させる。
本稿では,この性能を損なう表現的変化について検討し,この現象を考慮に入れた3つの異なる過程を同定する。
論文 参考訳(メタデータ) (2023-10-09T11:57:46Z) - Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph
Propagation [68.13453771001522]
画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。
我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
論文 参考訳(メタデータ) (2023-06-14T13:07:48Z) - The Curious Case of Benign Memorization [19.74244993871716]
データ拡張を含むトレーニングプロトコルの下で、ニューラルネットワークは、完全にランダムなラベルを良心的に記憶することを学ぶ。
深層モデルでは,暗記作業と特徴学習を異なる層に分散することで,信号からノイズを分離する驚くべき能力があることを実証する。
論文 参考訳(メタデータ) (2022-10-25T13:41:31Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳(メタデータ) (2022-08-27T09:27:36Z) - Feature Forgetting in Continual Representation Learning [48.89340526235304]
表現は、平凡な連続学習においても「破滅的な忘れ」に苦しめられることはないが、その特徴についてはほとんど知られていない。
連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示す。
特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの頻度を識別し視覚化する合成データセットを作成する。
論文 参考訳(メタデータ) (2022-05-26T13:38:56Z) - Continual Feature Selection: Spurious Features in Continual Learning [0.0]
本稿では,連続学習アルゴリズムにおける特徴量の影響について考察する。
一般化不可能な特徴を過度に組み合わせることで,学習アルゴリズムがタスクを解くことを示す。
論文 参考訳(メタデータ) (2022-03-02T10:43:54Z) - Discriminative Distillation to Reduce Class Confusion in Continual
Learning [57.715862676788156]
クラス混乱は、連続学習における分類性能の低下に寄与する。
本稿では,クラス間の識別的特徴を適切に学習する上で,識別的蒸留戦略を提案する。
論文 参考訳(メタデータ) (2021-08-11T12:46:43Z) - Preserving Earlier Knowledge in Continual Learning with the Help of All
Previous Feature Extractors [63.21036904487014]
時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。
これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。
複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
論文 参考訳(メタデータ) (2021-04-28T07:49:24Z) - Essentials for Class Incremental Learning [43.306374557919646]
CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
論文 参考訳(メタデータ) (2021-02-18T18:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。