論文の概要: Class Conditional Gaussians for Continual Learning
- arxiv url: http://arxiv.org/abs/2305.19076v1
- Date: Tue, 30 May 2023 14:40:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 15:55:55.348183
- Title: Class Conditional Gaussians for Continual Learning
- Title（参考訳）: 連続学習のためのクラス条件ガウスアン
- Authors: Thomas L. Lee and Amos Storkey
- Abstract要約: 表現のシフトに対処することは、継続的な学習における主要な問題の一つである。
本稿では,この問題を解決するための経験的ベイズ的手法であるDeepCCGを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dealing with representation shift is one of the main problems in online
continual learning. Current methods mainly solve this by reducing
representation shift, but leave the classifier on top of the representation to
slowly adapt, in many update steps, to the remaining representation shift,
increasing forgetting. We propose DeepCCG, an empirical Bayesian approach to
solve this problem. DeepCCG works by updating the posterior of a class
conditional Gaussian classifier such that the classifier adapts instantly to
representation shift. The use of a class conditional Gaussian classifier also
enables DeepCCG to use a log conditional marginal likelihood loss to update the
representation, which can be seen as a new type of replay. To perform the
update to the classifier and representation, DeepCCG maintains a fixed number
of examples in memory and so a key part of DeepCCG is selecting what examples
to store, choosing the subset that minimises the KL divergence between the true
posterior and the posterior induced by the subset. We demonstrate the
performance of DeepCCG on a range of settings, including those with overlapping
tasks which thus far have been under-explored. In the experiments, DeepCCG
outperforms all other methods, evidencing its potential.
- Abstract（参考訳）: 表現のシフトを扱うことは、オンライン連続学習の主要な問題の一つだ。
現在のメソッドは主に表現シフトを減らすことでこの問題を解決するが、多くの更新ステップにおいて、表現の最上部の分類器は、残りの表現シフトに徐々に適応し、忘れることが増える。
この問題を解決するための経験的ベイズ的手法であるDeepCCGを提案する。
DeepCCGは、クラス条件付きガウス分類器の後部を更新して、分類器が表現シフトに即座に適応するようにする。
クラス条件付きガウス分類器を使用することで、deepccgは、新しいタイプのリプレイと見なすことができる表現を更新するために、ログ条件付き限界可能性損失を利用することができる。
分類器と表現の更新を行うため、DeepCCGはメモリ内の固定されたサンプル数を保持しており、DeepCCGのキー部分は格納するサンプルを選択し、サブセットによって誘導される真の後部と後部のKLの発散を最小限にするサブセットを選択する。
本稿では,DeepCCGのタスクをオーバーラップしたタスクを含む,さまざまな環境での性能を実証する。
実験では、DeepCCGは他のすべての方法よりも優れており、その可能性を証明している。
関連論文リスト
- Early Preparation Pays Off: New Classifier Pre-tuning for Class Incremental Semantic Segmentation [13.62129805799111]
クラスインクリメンタルセマンティックセグメンテーションは、新しいタスクを学習しながら古い知識を保存することを目的としている。
それは破滅的な忘れ込みとバックグラウンドシフトの問題によって妨げられる。
そこで本研究では,正規学習プロセスの前に適用された新しい分類器プレチューニング(NeST)手法を提案する。
論文 参考訳（メタデータ） (2024-07-19T09:19:29Z) - ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。
本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。
次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
論文 参考訳（メタデータ） (2023-06-04T02:55:25Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳（メタデータ） (2023-05-20T19:22:40Z) - Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。
本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。
無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
論文 参考訳（メタデータ） (2023-03-21T07:00:35Z) - Class-Specific Explainability for Deep Time Series Classifiers [6.566615606042994]
ディープ時系列分類器におけるクラス固有の説明可能性の開放的問題について検討する。
我々は,深層多クラス時系列分類器を説明するために,サリエンシマップを学習する新しい説明可能性手法DEMUXを設計する。
我々の実験的研究は、DEMUXが5つの一般的なデータセットで9つの最先端の代替品より優れていることを示した。
論文 参考訳（メタデータ） (2022-10-11T12:37:15Z) - CondNet: Conditional Classifier for Scene Segmentation [46.62529212678346]
従来のグローバル分類器を置き換える条件付き分類器を提案する。
クラス内での区別に参画し、より高密度な認識能力に繋がる。
条件付き分類器(CondNetと呼ばれる)を備えたフレームワークは、2つのデータセットで新しい最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-09-21T17:19:09Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Regular Polytope Networks [29.44144177954405]
我々は、変換は精度を損なわず、メモリ使用量を減らすことなく修正できると主張しています。
また、固定および最大分離埋め込みを学ぶために使用することができます。
埋め込みの定常性とその最大分離表現を理論的に正当化できることを示した。
論文 参考訳（メタデータ） (2021-03-29T14:11:32Z) - Gradient Coding with Dynamic Clustering for Straggler-Tolerant
Distributed Learning [55.052517095437]
勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。
分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。
コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。
本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
論文 参考訳（メタデータ） (2021-03-01T18:51:29Z) - Minimum Variance Embedded Auto-associative Kernel Extreme Learning
Machine for One-class Classification [1.4146420810689422]
VAAKELMは、自己連想型カーネル極端学習マシンの拡張である。
アーキテクチャ内に最小分散情報を埋め込んで、クラス内の分散を減らす。
これは、一級分類に対する再構成に基づくアプローチに従い、再構成エラーを最小限にする。
論文 参考訳（メタデータ） (2020-11-24T17:00:30Z) - Learning and Evaluating Representations for Deep One-class
Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。
まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。
実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文 参考訳（メタデータ） (2020-11-04T23:33:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。