論文の概要: Knowledge Accumulation in Continually Learned Representations and the Issue of Feature Forgetting

• arxiv url: http://arxiv.org/abs/2304.00933v4
• Date: Mon, 24 Jun 2024 12:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 05:18:24.704462
• Title: Knowledge Accumulation in Continually Learned Representations and the Issue of Feature Forgetting
• Title（参考訳）: 連続学習表現における知識蓄積と特徴提示の課題
• Authors: Timm Hess, Eli Verwimp, Gido M. van de Ven, Tinne Tuytelaars,
• Abstract要約: 本研究では,知識蓄積と特徴忘れという,継続的に学習される表現の質に影響を及ぼす2つの現象の共存について検討する。 表現を忘れることが絶対的に小さいとしても、表現を忘れることは出力レベルで忘れることと同じくらい破滅的な傾向があることを示す。
• 参考スコア（独自算出の注目度）: 34.402943976801424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning research has shown that neural networks suffer from catastrophic forgetting "at the output level", but it is debated whether this is also the case at the level of learned representations. Multiple recent studies ascribe representations a certain level of innate robustness against forgetting -- that they only forget minimally in comparison with forgetting at the output level. We revisit and expand upon the experiments that revealed this difference in forgetting and illustrate the coexistence of two phenomena that affect the quality of continually learned representations: knowledge accumulation and feature forgetting. Taking both aspects into account, we show that, even though forgetting in the representation (i.e. feature forgetting) can be small in absolute terms, when measuring relative to how much was learned during a task, forgetting in the representation tends to be just as catastrophic as forgetting at the output level. Next we show that this feature forgetting is problematic as it substantially slows down the incremental learning of good general representations (i.e. knowledge accumulation). Finally, we study how feature forgetting and knowledge accumulation are affected by different types of continual learning methods.
• Abstract（参考訳）: 継続的な学習研究は、ニューラルネットワークが「出力レベルで」破滅的な忘れに苦しむことを示したが、このことが学習表現のレベルでも同様であるかどうかも議論されている。 複数の最近の研究は、ある特定のレベルの自然的堅牢さを、出力レベルでの忘れることと比較して、最小限にしか忘れないものとして記述している。 記憶の蓄積と特徴の忘れという2つの現象の共存が、継続的に学習された表現の質に影響を及ぼすことを示す実験を再考し、拡張した。 両側面を考慮に入れると、表現を忘れること(つまり、特徴を忘れること)が絶対的に小さいとしても、タスク中に学習した量に対して測定すると、表現を忘れることが出力レベルで忘れることと同じくらい破滅的になる傾向にあることを示す。 次に、優れた一般表現(すなわち知識蓄積)の漸進的な学習を著しく遅くするので、この機能を忘れることは問題であることを示す。 最後に,機能忘れと知識蓄積が,継続学習法の種類によってどのように影響されるかを検討する。

関連論文リスト

• Do Mice Grok? Glimpses of Hidden Progress During Overtraining in Sensory Cortex [32.79706360108185]
  マウスにおけるこのような学習の証拠は, 動作がほぼ順調に保たれた後, タスクの継続訓練後に見つかる(オーバートレーニング)。 オーバートレーニングの開始時に誤って分類された例は,その間は行動が変化しなかったものの,後から即座に分類できることが実証された。 このモデルが,動物学習における逆転を過剰に学習する経験的パズルについて,どのように説明するかを示す。
  論文  参考訳（メタデータ） (2024-11-05T22:42:49Z)
• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• The Curious Case of Benign Memorization [19.74244993871716]
  データ拡張を含むトレーニングプロトコルの下で、ニューラルネットワークは、完全にランダムなラベルを良心的に記憶することを学ぶ。 深層モデルでは,暗記作業と特徴学習を異なる層に分散することで,信号からノイズを分離する驚くべき能力があることを実証する。
  論文  参考訳（メタデータ） (2022-10-25T13:41:31Z)
• Feature Forgetting in Continual Representation Learning [48.89340526235304]
  表現は、平凡な連続学習においても「破滅的な忘れ」に苦しめられることはないが、その特徴についてはほとんど知られていない。 連続的な学習における表現を評価するためのプロトコルを考案し、それを用いて連続的な表現学習の基本的傾向の概要を示す。 特徴忘れ問題を研究するために、ニューラルネットワークにおける特徴忘れの頻度を識別し視覚化する合成データセットを作成する。
  論文  参考訳（メタデータ） (2022-05-26T13:38:56Z)
• Continual Feature Selection: Spurious Features in Continual Learning [0.0]
  本稿では,連続学習アルゴリズムにおける特徴量の影響について考察する。 一般化不可能な特徴を過度に組み合わせることで,学習アルゴリズムがタスクを解くことを示す。
  論文  参考訳（メタデータ） (2022-03-02T10:43:54Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• Essentials for Class Incremental Learning [43.306374557919646]
  CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
  論文  参考訳（メタデータ） (2021-02-18T18:01:06Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
  インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。 変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。 我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。