論文の概要: CPR: Classifier-Projection Regularization for Continual Learning
- arxiv url: http://arxiv.org/abs/2006.07326v2
- Date: Mon, 19 Apr 2021 09:30:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 02:14:27.083436
- Title: CPR: Classifier-Projection Regularization for Continual Learning
- Title(参考訳): CPR:連続学習のための分類器投影規則化
- Authors: Sungmin Cha, Hsiang Hsu, Taebaek Hwang, Flavio P. Calmon and Taesup
Moon
- Abstract要約: 本稿では,既存の正規化に基づく継続学習手法に適用可能な,汎用的でシンプルなパッチを提案する。
CPRは、局所的な最小値と情報理論を持つニューラルネットワークに関する最近の結果の両方から着想を得て、さらなる正規化項を追加した。
- 参考スコア(独自算出の注目度): 27.622727080250993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a general, yet simple patch that can be applied to existing
regularization-based continual learning methods called classifier-projection
regularization (CPR). Inspired by both recent results on neural networks with
wide local minima and information theory, CPR adds an additional regularization
term that maximizes the entropy of a classifier's output probability. We
demonstrate that this additional term can be interpreted as a projection of the
conditional probability given by a classifier's output to the uniform
distribution. By applying the Pythagorean theorem for KL divergence, we then
prove that this projection may (in theory) improve the performance of continual
learning methods. In our extensive experimental results, we apply CPR to
several state-of-the-art regularization-based continual learning methods and
benchmark performance on popular image recognition datasets. Our results
demonstrate that CPR indeed promotes a wide local minima and significantly
improves both accuracy and plasticity while simultaneously mitigating the
catastrophic forgetting of baseline continual learning methods. The codes and
scripts for this work are available at https://github.com/csm9493/CPR_CL.
- Abstract(参考訳): 本稿では,既存の正規化に基づく連続学習手法であるcpr(classifier-projection regularization)に適用可能な,汎用的でシンプルなパッチを提案する。
局所最小値と情報理論を持つニューラルネットワークの最近の結果に触発されて、CPRは、分類器の出力確率のエントロピーを最大化する追加の正規化項を追加する。
この追加項を一様分布に対する分類器の出力によって与えられる条件付き確率の射影として解釈できることを実証する。
kl の発散に対してピタゴラスの定理を適用することで、この射影が(理論上)連続学習法の性能を向上させることを証明できる。
広範な実験結果において,cprをいくつかの最先端正規化ベース連続学習法と一般的な画像認識データセットにおけるベンチマーク性能に適用した。
以上の結果から,CPRは局所的最小限の精度と可塑性を両立させると同時に,基礎的連続学習法の破滅的な忘れ込みを緩和する。
この作業のコードとスクリプトは、https://github.com/csm9493/cpr_clで入手できる。
関連論文リスト
- Collaborative Learning with Different Labeling Functions [8.53926206853583]
我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。
データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
論文 参考訳(メタデータ) (2024-02-16T04:32:22Z) - A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。
近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。
従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
論文 参考訳(メタデータ) (2024-02-06T15:45:27Z) - Learning a Diffusion Model Policy from Rewards via Q-Score Matching [99.7952627335176]
拡散モデルは、行動クローニングとオフライン強化学習においてアクターポリシーを表現するために一般的な選択肢となっている。
それまでの作業では、拡散モデルのスコアベース構造を活用できず、代わりに単純な行動クローニング用語を使用してアクターを訓練した。
本稿では,Q関数のスコアと行動勾配の関連構造を利用した拡散モデルポリシーの学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-18T23:31:01Z) - Learning impartial policies for sequential counterfactual explanations
using Deep Reinforcement Learning [0.0]
近年,SCFの発見政策を学習し,拡張性を高めるための強化学習法が提案されている。
本研究では,特定の行動に対する偏見など,望ましくない特性を持つポリシーを生じるような既存手法の欠点を同定する。
この効果を緩和するために,分類器の出力確率を用いてより情報的な報酬を生成することを提案する。
論文 参考訳(メタデータ) (2023-11-01T13:50:47Z) - Prediction Error-based Classification for Class-Incremental Learning [39.91805363069707]
予測誤差に基づく分類(PEC)を導入する
PECは、そのクラスのデータに基づいて、凍結ランダムニューラルネットワークの出力を複製するために訓練されたモデルの予測誤差を測定して、クラススコアを算出する。
PECは、サンプル効率、チューニングの容易さ、データを一度に1つのクラスに提示しても有効性など、いくつかの実用的な利点を提供している。
論文 参考訳(メタデータ) (2023-05-30T07:43:35Z) - Learnable Distribution Calibration for Few-Shot Class-Incremental
Learning [122.2241120474278]
FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。
本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:40:26Z) - Hyperspherical Consistency Regularization [45.00073340936437]
我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。
超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
論文 参考訳(メタデータ) (2022-06-02T02:41:13Z) - Re-Assessing the "Classify and Count" Quantification Method [88.60021378715636]
分類とカウント(CC)は、しばしば偏りのある推定器である。
以前の作業では、CCの適切に最適化されたバージョンを適切に使用できなかった。
最先端の手法に劣っているものの、ほぼ最先端の精度を実現している、と我々は主張する。
論文 参考訳(メタデータ) (2020-11-04T21:47:39Z) - Network Classifiers Based on Social Learning [71.86764107527812]
空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。
提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。
この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
論文 参考訳(メタデータ) (2020-10-23T11:18:20Z) - Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。
モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。
Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
論文 参考訳(メタデータ) (2020-07-20T05:57:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。