論文の概要: CaSpeR: Latent Spectral Regularization for Continual Learning
- arxiv url: http://arxiv.org/abs/2301.03345v1
- Date: Mon, 9 Jan 2023 13:56:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-10 17:34:39.284373
- Title: CaSpeR: Latent Spectral Regularization for Continual Learning
- Title(参考訳): CaSpeR: 連続学習のための潜在スペクトル規則化
- Authors: Emanuele Frascaroli, Riccardo Benaglia, Matteo Boschini, Luca
Moschella, Cosimo Fiorini, Emanuele Rodol\`a, Simone Calderara
- Abstract要約: 本研究では,学習者の潜伏空間の幾何学的特徴について検討する。
潜在空間のラプラシアンスペクトルの弱い要求を強制する幾何正則化器を提案する。
提案手法はCaSpeR(Continuous Spectral Regularizer)と呼ばれ,任意のリハーサルベースのCLアプローチと容易に組み合わせることができることを示す。
- 参考スコア(独自算出の注目度): 8.10380584335063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While biological intelligence grows organically as new knowledge is gathered
throughout life, Artificial Neural Networks forget catastrophically whenever
they face a changing training data distribution. Rehearsal-based Continual
Learning (CL) approaches have been established as a versatile and reliable
solution to overcome this limitation; however, sudden input disruptions and
memory constraints are known to alter the consistency of their predictions. We
study this phenomenon by investigating the geometric characteristics of the
learner's latent space and find that replayed data points of different classes
increasingly mix up, interfering with classification. Hence, we propose a
geometric regularizer that enforces weak requirements on the Laplacian spectrum
of the latent space, promoting a partitioning behavior. We show that our
proposal, called Continual Spectral Regularizer (CaSpeR), can be easily
combined with any rehearsal-based CL approach and improves the performance of
SOTA methods on standard benchmarks. Finally, we conduct additional analysis to
provide insights into CaSpeR's effects and applicability.
- Abstract(参考訳): 新しい知識が生涯にわたって収集されるにつれて、生物学的知性は有機的に成長するが、ニューラルネットワークはトレーニングデータ分布の変化に直面すると壊滅的に忘れてしまう。
リハーサルベースの連続学習(CL)アプローチは、この制限を克服するための汎用的で信頼性の高いソリューションとして確立されているが、突然の入力障害とメモリ制約は予測の一貫性を変えることが知られている。
本研究は,学習者の潜在空間の幾何学的特徴を調査し,異なるクラスのデータポイントがより混ざり合うことを発見し,分類を補う。
そこで我々は,潜在空間のラプラシアンスペクトルに対する弱い要求を強制し,分割行動を促進する幾何学的正則化器を提案する。
提案手法はCaSpeR(Continuous Spectral Regularizer)と呼ばれ,任意のリハーサルベースのCLアプローチと容易に組み合わせて,標準ベンチマーク上でのSOTA法の性能を向上させることができることを示す。
最後に、CaSpeRの効果と適用性に関する洞察を提供するために、さらなる分析を行う。
関連論文リスト
- Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - Uncertainty-guided Boundary Learning for Imbalanced Social Event
Detection [64.4350027428928]
本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。
我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
論文 参考訳(メタデータ) (2023-10-30T03:32:04Z) - Conditional Kernel Imitation Learning for Continuous State Environments [9.750698192309978]
条件付きカーネル密度推定に基づく新しい模倣学習フレームワークを提案する。
我々は、多くの最先端ILアルゴリズムよりも一貫して優れた経験的性能を示す。
論文 参考訳(メタデータ) (2023-08-24T05:26:42Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳(メタデータ) (2023-08-03T13:09:59Z) - Regularization, early-stopping and dreaming: a Hopfield-like setup to
address generalization and overfitting [0.0]
正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。
この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
論文 参考訳(メタデータ) (2023-08-01T15:04:30Z) - Cluster-aware Semi-supervised Learning: Relational Knowledge
Distillation Provably Learns Clustering [15.678104431835772]
我々はリレーショナル知識蒸留(RKD)の理論的理解に向けて最初の一歩を踏み出した。
半教師付き学習では,クラスタ認識学習の一般的な枠組みを通じて,RKDのラベル効率を実証する。
正確なクラスタリングを学習する共通の効果にもかかわらず、RKDは"グローバル"な視点を促進する。
論文 参考訳(メタデータ) (2023-07-20T17:05:51Z) - Learning Prompt-Enhanced Context Features for Weakly-Supervised Video
Anomaly Detection [37.99031842449251]
弱い監督下での映像異常検出は重大な課題を呈する。
本稿では,効率的なコンテキストモデリングとセマンティック識別性の向上に焦点をあてた,弱教師付き異常検出フレームワークを提案する。
提案手法は,特定の異常なサブクラスの検出精度を大幅に向上させ,その実用的価値と有効性を裏付けるものである。
論文 参考訳(メタデータ) (2023-06-26T06:45:16Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳(メタデータ) (2022-11-10T05:29:43Z) - On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。
入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
論文 参考訳(メタデータ) (2020-07-04T23:43:32Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。