論文の概要: Explaining Robustness to Catastrophic Forgetting Through Incremental Concept Formation

• arxiv url: http://arxiv.org/abs/2510.23756v1
• Date: Mon, 27 Oct 2025 18:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.417331
• Title: Explaining Robustness to Catastrophic Forgetting Through Incremental Concept Formation
• Title（参考訳）: 漸進的概念形成による破滅的形成へのロバスト性の説明
• Authors: Nicki Barari, Edward Kim, Christopher MacLellan,
• Abstract要約: 破滅的な忘れは継続的学習において依然として中心的な課題であり、モデルでは、これまで学んだことを失うことなく、時間をかけて新しい知識を統合する必要がある。 先行研究では,視覚領域における破滅的忘れ込みに対する堅牢性を示す階層的概念形成モデルであるCobweb/4Vを紹介した。 この頑健さを動機として、このような安定性に寄与する要因に関する3つの仮説を考察する。 様々な複雑さのデータセットの実験では、適応的再構成は学習の可塑性を高め、スパース更新は干渉を軽減することを示し、情報理論学習プロセスは過去のデータを再考することなく事前の知識を保存する。
• 参考スコア（独自算出の注目度）: 3.716733999333142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Catastrophic forgetting remains a central challenge in continual learning, where models are required to integrate new knowledge over time without losing what they have previously learned. In prior work, we introduced Cobweb/4V, a hierarchical concept formation model that exhibited robustness to catastrophic forgetting in visual domains. Motivated by this robustness, we examine three hypotheses regarding the factors that contribute to such stability: (1) adaptive structural reorganization enhances knowledge retention, (2) sparse and selective updates reduce interference, and (3) information-theoretic learning based on sufficiency statistics provides advantages over gradient-based backpropagation. To test these hypotheses, we compare Cobweb/4V with neural baselines, including CobwebNN, a neural implementation of the Cobweb framework introduced in this work. Experiments on datasets of varying complexity (MNIST, Fashion-MNIST, MedMNIST, and CIFAR-10) show that adaptive restructuring enhances learning plasticity, sparse updates help mitigate interference, and the information-theoretic learning process preserves prior knowledge without revisiting past data. Together, these findings provide insight into mechanisms that can mitigate catastrophic forgetting and highlight the potential of concept-based, information-theoretic approaches for building stable and adaptive continual learning systems.
• Abstract（参考訳）: 破滅的な忘れは継続的学習において依然として中心的な課題であり、モデルでは、それまで学んだことを失うことなく、時間をかけて新しい知識を統合する必要がある。 先行研究では,視覚領域における破滅的忘れ込みに対する堅牢性を示す階層的概念形成モデルであるCobweb/4Vを紹介した。 このような安定性に寄与する要因について,(1)適応的構造再構成は知識保持を促進させる,(2)スパースと選択的更新は干渉を減少させる,(3)十分性統計に基づく情報理論学習は,勾配に基づくバックプロパゲーションよりも有利である,という3つの仮説を考察する。 これらの仮説をテストするために、この研究で導入されたCobwebフレームワークのニューラル実装であるCobwebNNを含む、Cobweb/4Vとニューラルベースラインを比較した。 様々な複雑さのデータセット(MNIST、Fashion-MNIST、MedMNIST、CIFAR-10)の実験では、適応的再構成は学習の可塑性を高め、スパース更新は干渉を軽減する。 これらの知見とともに、破滅的な忘れを軽減し、安定的で適応的な連続学習システムを構築するための概念に基づく情報理論的アプローチの可能性を強調するメカニズムに関する洞察を提供する。

関連論文リスト

• Rethinking Hebbian Principle: Low-Dimensional Structural Projection for Unsupervised Learning [17.299267108673277]
  ヘビアンラーニング(Hebbian learning)は、ニューロンが繰り返し刺激によって接続をどのように適応するかを直感的に記述する生物学的原理である。 本稿では,新しい教師なし学習手法である構造投影ヘビアン表現(SPHeRe)を紹介する。 実験結果から,SPHeReは教師なしシナプス可塑性アプローチにおいてSOTA性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-10-16T15:47:29Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Understanding and Leveraging the Learning Phases of Neural Networks [7.1169582271841625]
  深層ニューラルネットワークの学習力学はよく理解されていない。 本研究では,入力および予測性能の層再構築能力について検討し,学習力学を包括的に解析する。 本稿では,ResNetやVGGといった共通データセットとアーキテクチャを用いた3つのフェーズの存在を示す。
  論文  参考訳（メタデータ） (2023-12-11T23:20:58Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Mixture-of-Variational-Experts for Continual Learning [0.0]
  学習と忘れのトレードオフを促進する最適原理を提案する。 我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。 MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T06:32:06Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。