論文の概要: Latent Spectral Regularization for Continual Learning
- arxiv url: http://arxiv.org/abs/2301.03345v4
- Date: Tue, 16 Jul 2024 12:33:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 00:30:09.209704
- Title: Latent Spectral Regularization for Continual Learning
- Title(参考訳): 連続学習のための潜在スペクトル規則化
- Authors: Emanuele Frascaroli, Riccardo Benaglia, Matteo Boschini, Luca Moschella, Cosimo Fiorini, Emanuele Rodolà, Simone Calderara,
- Abstract要約: 本研究では,学習者の潜伏空間の幾何学的特徴について検討する。
潜在空間のラプラシアンスペクトルの弱い要求を強制する幾何正則化器を提案する。
- 参考スコア(独自算出の注目度): 21.445600749028923
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While biological intelligence grows organically as new knowledge is gathered throughout life, Artificial Neural Networks forget catastrophically whenever they face a changing training data distribution. Rehearsal-based Continual Learning (CL) approaches have been established as a versatile and reliable solution to overcome this limitation; however, sudden input disruptions and memory constraints are known to alter the consistency of their predictions. We study this phenomenon by investigating the geometric characteristics of the learner's latent space and find that replayed data points of different classes increasingly mix up, interfering with classification. Hence, we propose a geometric regularizer that enforces weak requirements on the Laplacian spectrum of the latent space, promoting a partitioning behavior. Our proposal, called Continual Spectral Regularizer for Incremental Learning (CaSpeR-IL), can be easily combined with any rehearsal-based CL approach and improves the performance of SOTA methods on standard benchmarks.
- Abstract(参考訳): 生物の知性は、新しい知識が生涯にわたって収集されるにつれて有機的に成長するが、ニューラルネットワークは、変化するトレーニングデータ分布に直面すると破滅的なことを忘れる。
リハーサルベースの連続学習(CL)アプローチは、この制限を克服するための汎用的で信頼性の高いソリューションとして確立されているが、突然の入力障害とメモリ制約は、それらの予測の一貫性を変えることが知られている。
本研究では,学習者の潜伏空間の幾何学的特徴を調べた結果,異なるクラスにおけるリプレイされたデータポイントが次第に混在し,分類に干渉していることが判明した。
そこで我々は,ラプラシアンスペクトルの弱要求を強制する幾何正則化器を提案し,分割挙動を推し進める。
提案手法はCaSpeR-IL(Continuous Spectral Regularizer for Incremental Learning)と呼ばれ,任意のリハーサルベースのCLアプローチと簡単に組み合わせることができる。
関連論文リスト
- Contrastive Learning with Orthonormal Anchors (CLOA) [0.0]
本研究では,コントラスト学習における不安定性問題に対処すること,特にInfoNCE損失関数とその導関数について検討する。
我々はこれらの損失関数が制限的な挙動を示すことを批判的に観察し、埋め込みが特異点にマージする傾向にある収束現象を導いた。
この「オーバーフュージョン」効果は、その後の教師あり学習タスクの分類精度に有害である。
論文 参考訳(メタデータ) (2024-03-27T15:48:16Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳(メタデータ) (2024-03-20T02:21:44Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Infinite dSprites for Disentangled Continual Learning: Separating Memory
Edits from Generalization [48.765079793320346]
Infinite dSpritesは任意の長さの連続的な分類ベンチマークを作成するための擬似ツールである。
この単純なベンチマークでは、十分に長い時間をかけて、全ての主要な連続学習手法の性能が低下していることが示される。
生成因子を直接監督した簡単な設定では、学習階級に依存しない変換が破滅的な忘れを回避できる方法を示している。
論文 参考訳(メタデータ) (2023-12-27T22:05:42Z) - Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳(メタデータ) (2023-10-30T03:32:04Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳(メタデータ) (2023-08-03T13:09:59Z) - Cluster-aware Semi-supervised Learning: Relational Knowledge
Distillation Provably Learns Clustering [15.678104431835772]
我々はリレーショナル知識蒸留(RKD)の理論的理解に向けて最初の一歩を踏み出した。
半教師付き学習では,クラスタ認識学習の一般的な枠組みを通じて,RKDのラベル効率を実証する。
正確なクラスタリングを学習する共通の効果にもかかわらず、RKDは"グローバル"な視点を促進する。
論文 参考訳(メタデータ) (2023-07-20T17:05:51Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。