論文の概要: The Art of Not Forgetting A Local Learning Architecture for Continual Learning

• arxiv url: http://arxiv.org/abs/2607.26523v1
• Date: Wed, 29 Jul 2026 06:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.561968
• Title: The Art of Not Forgetting A Local Learning Architecture for Continual Learning
• Title（参考訳）: 継続的学習のためのローカル学習アーキテクチャを忘れない技術
• Abstract要約: 入力をスパースリレーショナルコードとして再帰する連続学習アーキテクチャであるCMPを導入する。 本研究では,スパース表現,局所学習,永続記憶の組み合わせが破滅的な記憶を減少させるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce CMP (Cognitive Memory Primitive), a continual-learning architecture that repre?sents inputs as sparse relational codes, stores them in a two-tier competitive memory, and learns through local updates without end-to-end backpropagation through its feature-generating system. We investigate whether combining sparse representations, local learning, and persistent memory can reduce catastrophic forgetting relative to conventional backpropagation-based continual?learning approaches. On a controlled domain-incremental byte-level language modeling protocol, CMP demonstrates substantially lower backward transfer than a parameter-matched Trans?former trained with online Elastic Weight Consolidation (EWC). Across a three-seed replicated 15-domain experiment, CMP exhibits stable forgetting behavior, while separate head-to-head comparisons and domain-order analyses show consistently lower forgetting than the evaluated Transformer baseline under the reported experimental settings. We report these findings alongside a substantial single-domain accuracy gap relative to the Transformer, a null result on a vision benchmark, and a documented failure to combine CMP with an independent accuracy-improving mechanism, reflecting our commitment to reporting both positive and negative outcomes. These results suggest that the combination of sparse representations, local learning, and persistent memory is a promising direction for continual learning, while motivating further investigation into the respective roles of learning rules, representations, and architectural design in mitigating catastrophic forgetting.
• Abstract（参考訳）: 私たちはCMP(Cognitive Memory Primitive)を導入します。 入力はスパースリレーショナルコードとして送信され、2階層の競合メモリに格納され、機能生成システムを通じてエンドツーエンドのバックプロパゲーションなしでローカル更新を通じて学習される。 我々は,スパース表現,局所学習,永続記憶の組み合わせが,従来のバックプロパゲーションに基づく連続性に対する破滅的記憶を減少させるか否かを検討する。 学習の方法です 制御されたドメインインクリメンタルバイトレベルの言語モデリングプロトコルでは、CMPはパラメータマッチングされたTransよりも後方転送がかなり低いことを示す。 以前はオンラインのElastic Weight Consolidation (EWC)でトレーニングされていた。 3列の複製15ドメイン実験全体で、CMPは安定な忘れ行動を示し、一方、頭と頭の比較とドメインの順序分析は、報告された実験条件の下で評価されたTransformerベースラインよりも一貫して低い忘れ行動を示す。 これらの知見は,トランスフォーマーに対する実質的な単一領域精度ギャップ,ビジョンベンチマークにおけるヌル結果,CMPと独立的な精度改善機構を組み合わせた文書化失敗と合わせて報告し,正と負の両方の結果の報告へのコミットメントを反映した。 これらの結果は, スパース表現, 局所学習, 永続記憶の組み合わせが, 連続学習にとって有望な方向であることを示唆し, 破滅的な忘れを緩和する学習規則, 表現, 建築設計の各役割について, さらなる研究を動機づけている。

関連論文リスト

• The Art of Not Forgetting [0.8875650122536798]
  入力をスパースリレーショナルコードとして表現するアーキテクチャであるCMPを導入し、それらを2層競合メモリに格納し、ローカルで勾配のない更新を通じて完全に学習し、ネットワークのどこにもバックプロパゲーションを含まない。 破滅的な忘れは、通常、リプレイや正規化でパッチを当てられるトレーニング時の欠陥として扱われるが、代わりにバックプロパゲーションがクレジットを割り当てる方法の構造的な結果であり、建設によって局所的でスパースな学習規則はパッチなしでそれに耐えるべきである、という、特定の仮説をテストするためにこのアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2026-07-20T13:42:55Z)
• One Step Closer to Ground Truth: A Multi-Scale Residual-Aware Representation Learning Pipeline for Predicting Time Series Data [6.704099492625706]
  本稿では,予測と残差学習を表現学習の異なる段階に明確に分離する2段階のモデル非依存フレームワークを提案する。 このパイプラインを仮説空間拡張として定式化することにより、我々のフレームワークは単一ステージアーキテクチャに固有の近似制限に対処する。
  論文  参考訳（メタデータ） (2026-06-09T10:31:54Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
  マルチモーダル学習は、しばしば低品質データの課題に悩まされる。 コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。 私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-05-05T14:48:52Z)
• Invariance on Manifolds: Understanding Robust Visual Representations for Place Recognition [19.200074425090595]
  本稿では,2次幾何統計フレームワークを提案する。 提案手法では、固定されたトレーニング済みのバックボーン上に構築されたトレーニング不要のフレームワークを導入し、パラメータ更新なしで強力なゼロショット一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-31T18:12:29Z)
• Learning Causality for Longitudinal Data [1.2691047660244335]
  この論文は、高次元の時間変化データにおける因果推論と因果表現学習の手法を開発する。 最初のコントリビューションは、個別処理効果(ITE)を推定するモデルであるCDVAE(Causal Dynamic Variational Autoencoder)の導入である。 第2のコントリビューションでは,Contrastive Predictive Coding (CPC) とInfoMaxによって強化された RNN に基づく長期的反事実回帰のための効率的なフレームワークを提案する。 第3のコントリビューションは、潜伏が観察された変数にどのように現れるかに対処することでCRLを前進させる。
  論文  参考訳（メタデータ） (2025-12-04T16:51:49Z)
• Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting [92.57796055887995]
  本稿では,言語モデルエージェントの強化学習から後視体験のリプレイに適応するプロンプトフレームワークECHOを紹介する。 ECHOは失敗した試みで達成できた代替目標のために最適化された軌道を生成する。 我々は、テキストベースのナビゲーションと計画ベンチマークであるXMiniGridのステートフルバージョンと、協調的な情報収集企業シミュレーションであるPeopleJoinQAについて、ECHOを評価した。
  論文  参考訳（メタデータ） (2025-10-11T18:11:09Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。