論文の概要: Degradation of Feature Space in Continual Learning

• arxiv url: http://arxiv.org/abs/2602.06586v1
• Date: Fri, 06 Feb 2026 10:26:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.356274
• Title: Degradation of Feature Space in Continual Learning
• Title（参考訳）: 連続学習における特徴空間の劣化
• Authors: Chiara Lanza, Roberto Pereira, Marco Miozzo, Eduard Angelats, Paolo Dini,
• Abstract要約: 本研究では,特徴空間の等方性向上が連続学習における表現品質の向上に寄与するかどうかを考察する。 等方正則化は改善せず、実際には劣化し、連続的な設定で精度をモデル化できる。
• 参考スコア（独自算出の注目度）: 2.322400467239964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Centralized training is the standard paradigm in deep learning, enabling models to learn from a unified dataset in a single location. In such setup, isotropic feature distributions naturally arise as a mean to support well-structured and generalizable representations. In contrast, continual learning operates on streaming and non-stationary data, and trains models incrementally, inherently facing the well-known plasticity-stability dilemma. In such settings, learning dynamics tends to yield increasingly anisotropic feature space. This arises a fundamental question: should isotropy be enforced to achieve a better balance between stability and plasticity, and thereby mitigate catastrophic forgetting? In this paper, we investigate whether promoting feature-space isotropy can enhance representation quality in continual learning. Through experiments using contrastive continual learning techniques on CIFAR-10 and CIFAR-100 data, we find that isotropic regularization fails to improve, and can in fact degrade, model accuracy in continual settings. Our results highlight essential differences in feature geometry between centralized and continual learning, suggesting that isotropy, while beneficial in centralized setups, may not constitute an appropriate inductive bias for non-stationary learning scenarios.
• Abstract（参考訳）: 集中型トレーニングはディープラーニングの標準パラダイムであり、モデルが単一の場所で統合データセットから学習できるようにする。 そのような設定では、等方的特徴分布は自然に、よく構造化され一般化可能な表現をサポートするための平均として生じる。 対照的に、連続学習はストリーミングおよび非定常データで動作し、よく知られた可塑性安定性ジレンマに直面して、漸進的にモデルを訓練する。 このような環境では、学習力学はますます異方性のある特徴空間をもたらす傾向にある。 これは、安定と可塑性のバランスを改善するためにイソトロピーを強制し、破滅的な忘れを和らげるべきである、という根本的な問題を引き起こす。 本稿では,特徴空間の等方性向上が連続学習における表現品質の向上に寄与するかどうかを考察する。 CIFAR-10およびCIFAR-100データに対するコントラスト連続学習技術を用いた実験により、等方正則化は改善せず、実際に連続的な設定でモデル精度を劣化させることができることがわかった。 本研究は, 集中学習と連続学習における特徴幾何学的特徴の相違を強調し, アイソトロピーは, 集中学習では有益であるが, 非定常学習シナリオには適切な帰納的バイアスを生じさせない可能性が示唆された。

関連論文リスト

• Stability as a Liability:Systematic Breakdown of Linguistic Structure in LLMs [5.96875296117642]
  安定なパラメータトラジェクトリが定常解を導出し、経験的分布へのKLの分岐を最小化することを示す。 制御されたフィードバックベースのトレーニングフレームワークを用いて,この効果を実証的に検証する。 これは、最適化の安定性と生成的表現性は本質的に一致していないことを示し、安定性のみが生成的品質の指標として不十分であることを示している。
  論文  参考訳（メタデータ） (2026-01-26T15:34:50Z)
• Training instability in deep learning follows low-dimensional dynamical principles [24.97566911521709]
  トレーニングは、最適化、データ、パラメータ、学習信号に対する小さな摂動が突然で不可逆的な崩壊を引き起こす、高次元力学系として展開される。 本稿では,学習システムの本質的な特性としてトレーニング安定性を特徴付ける統一力学的視点を提案する。
  論文  参考訳（メタデータ） (2026-01-19T15:37:45Z)
• Entropy-Guided Token Dropout: Training Autoregressive Language Models with Limited Domain Data [89.96277093034547]
  本研究では,エントロピー誘導型トークンドロップアウト方式であるEntroDropを導入する。 本稿では,EntroDropが標準正規化ベースラインを一貫して上回り,拡張型マルチエポックトレーニングを通じて堅牢な性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-12-29T12:35:51Z)
• Activation Function Design Sustains Plasticity in Continual Learning [1.618563064839635]
  継続的な学習では、モデルは適応する能力を失う可能性がある。 可塑性損失を軽減するため, アクティベーション選択はアーキテクチャに依存しない主要なレバーであることを示す。
  論文  参考訳（メタデータ） (2025-09-26T16:41:47Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning [33.560003528712414]
  自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。 これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。 本稿では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。
  論文  参考訳（メタデータ） (2024-03-27T05:38:48Z)
• Incorporating Neuro-Inspired Adaptability for Continual Learning in Artificial Intelligence [59.11038175596807]
  継続的な学習は、現実世界に強い適応性を持つ人工知能を強化することを目的としている。 既存の進歩は主に、破滅的な忘れを克服するために記憶安定性を維持することに焦点を当てている。 本稿では,学習の可塑性を改善するため,パラメータ分布の古い記憶を適切に減衰させる汎用的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-29T02:43:58Z)
• New Insights on Relieving Task-Recency Bias for Online Class Incremental Learning [37.888061221999294]
  あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。 安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-16T11:52:00Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。