論文の概要: Geometry of Forgetting: Representation Flux in Continual Learning
- arxiv url: http://arxiv.org/abs/2608.15854v1
- Date: Sun, 16 Aug 2026 16:59:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.443482
- Title: Geometry of Forgetting: Representation Flux in Continual Learning
- Title(参考訳): フォーミングの幾何学:連続学習における表現フラックス
- Abstract要約: ニューラルネットワークは、新しいタスクを学習しながら、以前獲得した知識を失う。
逐次学習における潜時表現の進化について検討し, トレーニング間のサンプルレベル表現変位の幾何学的尺度である表現フラックスを導入する。
複数のベンチマークにおいて,表現フラックスは破滅的忘れと強く結びついており,時間的解析により,上昇フラックスがその後の性能劣化に先行する可能性が示唆された。
本稿では,記憶された参照に対して表現を制約し,継続学習を可能にする表現空間正規化手法であるFlowLess-Rを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Catastrophic forgetting remains a fundamental obstacle to continual learning, where neural networks lose previously acquired knowledge while learning new tasks. Existing methods primarily mitigate forgetting through parameter regularization or experience replay, while the representation-space dynamics associated with forgetting remain less understood. We investigate latent representation evolution during sequential learning and introduce representation flux, a geometric measure of sample-level representation displacement across training. We show that representation flux is strongly associated with catastrophic forgetting across multiple benchmarks, with temporal analyses indicating that elevated flux can precede subsequent performance degradation. Representation displacement is also associated with confidence degradation, while complementary geometric properties provide additional information about sample-level forgetting. Motivated by these observations, we propose FlowLess-R, a representation-space regularization method that constrains replay representations relative to stored references while allowing continued learning. FlowLess-R is architecture-agnostic and integrates into replay-based methods through a representation-matching term. Experiments on SplitMNIST, SplitFashionMNIST, SplitCIFAR10, and SplitTinyImageNet show improved final average accuracy and reduced forgetting with ER, DER++, and ER-ACE. Our results identify representation flux as an informative geometric marker of forgetting and show that stabilizing latent representations provides a simple strategy for mitigating catastrophic forgetting.
- Abstract(参考訳): ニューラルネットワークは、新しいタスクを学習しながら、以前獲得した知識を失う。
既存の手法は、パラメータの正規化や経験の再生を通じて忘れを緩和するが、その一方で、忘れることに関連する表現空間のダイナミクスは理解されていない。
逐次学習における潜時表現の進化について検討し, トレーニング間のサンプルレベル表現変位の幾何学的尺度である表現フラックスを導入する。
複数のベンチマークにおいて,表現フラックスは破滅的忘れと強く結びついており,時間的解析により,上昇フラックスがその後の性能劣化に先行する可能性が示唆された。
表現の変位は信頼性の低下とも関連し、相補的な幾何学的性質はサンプルレベルの忘れについて追加情報を提供する。
これらの観測から得られたFlowLess-Rは,記憶された参照に対する表現を制約し,継続的な学習を可能にする表現空間正規化手法である。
FlowLess-Rはアーキテクチャに依存しず、表現マッチング項を通じてリプレイベースのメソッドに統合される。
SplitMNIST、SplitFashionMNIST、SplitCIFAR10、SplitTinyImageNetの実験では、最終的な平均精度が向上し、ER、DER++、ER-ACEでの忘れが軽減された。
以上の結果から,表現のフラックスは,遅延表現の安定化が破滅的忘れを緩和するための簡単な戦略であることを示す。
関連論文リスト
- Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning [41.371439825328544]
継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。
我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。
制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。
論文 参考訳(メタデータ) (2026-08-12T06:01:49Z) - Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。
本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
論文 参考訳(メタデータ) (2026-06-21T12:14:11Z) - Embedded Polygon Symbolic Transfer Entropy (EPSTE): A Geometric Token and Deep Learning Approach to Estimating Transfer Entropy in Neuroimaging Time Series [2.1575136240463597]
この研究は、TE推定を学習可能な問題として再設計するフレームワークであるEmbeded Polygon Transfer Entropy (EPSTE)を導入している。
注意に基づくマルチインスタンス学習を備えたリカレントニューラルネットワークをトレーニングし、シンボル時間窓の袋から代理値のTE値を予測する。
その結果、局所的なウィンドウレベルの予測はノイズが多いが、試行錯誤とチャネルペア間のアグリゲーションにより、安定した指向性が得られることが示された。
論文 参考訳(メタデータ) (2026-06-19T21:13:56Z) - Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
MRI再建は本質的に不完全な逆問題である。
この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。
提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
論文 参考訳(メタデータ) (2026-05-19T04:40:50Z) - Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。
コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
論文 参考訳(メタデータ) (2026-04-28T19:21:21Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳(メタデータ) (2026-03-02T10:38:54Z) - Squeezing More from the Stream : Learning Representation Online for Streaming Reinforcement Learning [14.799267729619428]
ストリーミング強化学習(RL)では、トランジッションが観察され、1回の更新直後に破棄される。
本稿では,SPR(Self-Predictive Representations)をストリーミングパイプラインに拡張して,観測フレームの有効性を最大化することを提案する。
本稿では,リプレイバッファの欠如による性能ギャップを埋めることで,よりリッチな表現を学習できることを示す。
論文 参考訳(メタデータ) (2026-02-10T04:06:32Z) - Disentangled Representation Learning via Flow Matching [48.12507436294143]
遠方表現学習は、観測データの基礎となる説明的要素を捉えることを目的としている。
既存の拡散に基づく手法は帰納的バイアスを通じて因子の独立を促進するが、しばしば強い意味的アライメントを欠く。
本稿では,不整合表現学習のためのフローマッチングに基づくフレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-05T02:14:36Z) - Invariance on Manifolds: Understanding Robust Visual Representations for Place Recognition [19.200074425090595]
本稿では,2次幾何統計フレームワークを提案する。
提案手法では、固定されたトレーニング済みのバックボーン上に構築されたトレーニング不要のフレームワークを導入し、パラメータ更新なしで強力なゼロショット一般化を実現する。
論文 参考訳(メタデータ) (2026-01-31T18:12:29Z) - On the Importance of Feature Decorrelation for Unsupervised
Representation Learning in Reinforcement Learning [23.876039876806182]
教師なし表現学習(URL)は強化学習(RL)のサンプル効率を改善した
本稿では,潜在多様体の次元を増大させつつ,将来の状態を因果的に予測する新しいURLフレームワークを提案する。
本フレームワークは,Atari 100kベンチマークにおける最先端URL手法のサンプル効率を大幅に向上させるため,崩壊のない予測表現を効果的に学習する。
論文 参考訳(メタデータ) (2023-06-09T02:47:21Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。