論文の概要: CPR: Classifier-Projection Regularization for Continual Learning

• arxiv url: http://arxiv.org/abs/2006.07326v2
• Date: Mon, 19 Apr 2021 09:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 02:14:27.083436
• Title: CPR: Classifier-Projection Regularization for Continual Learning
• Title（参考訳）: CPR:連続学習のための分類器投影規則化
• Authors: Sungmin Cha, Hsiang Hsu, Taebaek Hwang, Flavio P. Calmon and Taesup Moon
• Abstract要約: 本稿では,既存の正規化に基づく継続学習手法に適用可能な,汎用的でシンプルなパッチを提案する。 CPRは、局所的な最小値と情報理論を持つニューラルネットワークに関する最近の結果の両方から着想を得て、さらなる正規化項を追加した。
• 参考スコア（独自算出の注目度）: 27.622727080250993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a general, yet simple patch that can be applied to existing regularization-based continual learning methods called classifier-projection regularization (CPR). Inspired by both recent results on neural networks with wide local minima and information theory, CPR adds an additional regularization term that maximizes the entropy of a classifier's output probability. We demonstrate that this additional term can be interpreted as a projection of the conditional probability given by a classifier's output to the uniform distribution. By applying the Pythagorean theorem for KL divergence, we then prove that this projection may (in theory) improve the performance of continual learning methods. In our extensive experimental results, we apply CPR to several state-of-the-art regularization-based continual learning methods and benchmark performance on popular image recognition datasets. Our results demonstrate that CPR indeed promotes a wide local minima and significantly improves both accuracy and plasticity while simultaneously mitigating the catastrophic forgetting of baseline continual learning methods. The codes and scripts for this work are available at https://github.com/csm9493/CPR_CL.
• Abstract（参考訳）: 本稿では,既存の正規化に基づく連続学習手法であるcpr(classifier-projection regularization)に適用可能な,汎用的でシンプルなパッチを提案する。 局所最小値と情報理論を持つニューラルネットワークの最近の結果に触発されて、CPRは、分類器の出力確率のエントロピーを最大化する追加の正規化項を追加する。 この追加項を一様分布に対する分類器の出力によって与えられる条件付き確率の射影として解釈できることを実証する。 kl の発散に対してピタゴラスの定理を適用することで、この射影が(理論上)連続学習法の性能を向上させることを証明できる。 広範な実験結果において,cprをいくつかの最先端正規化ベース連続学習法と一般的な画像認識データセットにおけるベンチマーク性能に適用した。 以上の結果から,CPRは局所的最小限の精度と可塑性を両立させると同時に,基礎的連続学習法の破滅的な忘れ込みを緩和する。 この作業のコードとスクリプトは、https://github.com/csm9493/cpr_clで入手できる。

関連論文リスト

• Minimizing Chebyshev Prototype Risk Magically Mitigates the Perils of Overfitting [1.6574413179773757]
  クラス内特徴相関を低減し,クラス間特徴距離を最大化する多成分損失関数を開発した。 我々は,Chebyshev Prototype Risk (CPR) という用語を明示的なCPR損失関数に限定して実装する。 トレーニングアルゴリズムは、多くの設定において、以前のアプローチの過度な適合を減らし、改善する。
  論文  参考訳（メタデータ） (2024-04-10T15:16:04Z)
• A Hard-to-Beat Baseline for Training-free CLIP-based Adaptation [121.0693322732454]
  対照的に、CLIP(Contrastive Language- Image Pretraining)はその目覚ましいゼロショット能力で人気を集めている。 近年の研究では、下流タスクにおけるCLIPの性能を高めるための効率的な微調整手法の開発に焦点が当てられている。 従来のアルゴリズムであるガウス判別分析(GDA)を再検討し,CLIPの下流分類に適用する。
  論文  参考訳（メタデータ） (2024-02-06T15:45:27Z)
• Learning a Diffusion Model Policy from Rewards via Q-Score Matching [93.0191910132874]
  本稿では,拡散モデルポリシの構造を学習されたQ-関数に関連付ける理論的枠組みを提案する。 本稿では,この理論からQスコアマッチングを示す新しいポリシー更新手法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T23:31:01Z)
• Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning [0.0]
  近年,SCFの発見政策を学習し,拡張性を高めるための強化学習法が提案されている。 本研究では,特定の行動に対する偏見など,望ましくない特性を持つポリシーを生じるような既存手法の欠点を同定する。 この効果を緩和するために,分類器の出力確率を用いてより情報的な報酬を生成することを提案する。
  論文  参考訳（メタデータ） (2023-11-01T13:50:47Z)
• Prediction Error-based Classification for Class-Incremental Learning [39.91805363069707]
  予測誤差に基づく分類(PEC)を導入する PECは、そのクラスのデータに基づいて、凍結ランダムニューラルネットワークの出力を複製するために訓練されたモデルの予測誤差を測定して、クラススコアを算出する。 PECは、サンプル効率、チューニングの容易さ、データを一度に1つのクラスに提示しても有効性など、いくつかの実用的な利点を提供している。
  論文  参考訳（メタデータ） (2023-05-30T07:43:35Z)
• Learnable Distribution Calibration for Few-Shot Class-Incremental Learning [122.2241120474278]
  FSCIL(Few-shot class-incremental Learning)は、古いクラス分布を記憶し、少数のトレーニングサンプルから新しいクラス分布を推定するという課題に直面している。 本稿では,これら2つの課題を統一フレームワークを用いて体系的に解決することを目的とした,学習可能な分布校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:40:26Z)
• Hyperspherical Consistency Regularization [45.00073340936437]
  我々は,自己教師あり学習と教師あり学習の関係について検討し,自己教師あり学習がデータ効率のよい深層学習にどのように役立つかを検討する。 超球面整合正則化(HCR)を提案し,特徴依存情報を用いた分類器の正規化を行い,ラベルからのバイアスを回避する。
  論文  参考訳（メタデータ） (2022-06-02T02:41:13Z)
• Re-Assessing the "Classify and Count" Quantification Method [88.60021378715636]
  分類とカウント(CC)は、しばしば偏りのある推定器である。 以前の作業では、CCの適切に最適化されたバージョンを適切に使用できなかった。 最先端の手法に劣っているものの、ほぼ最先端の精度を実現している、と我々は主張する。
  論文  参考訳（メタデータ） (2020-11-04T21:47:39Z)
• Network Classifiers Based on Social Learning [71.86764107527812]
  空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。 提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。 この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
  論文  参考訳（メタデータ） (2020-10-23T11:18:20Z)
• Solving Long-tailed Recognition with Deep Realistic Taxonomic Classifier [68.38233199030908]
  ロングテール認識は、現実世界のシナリオにおける自然な非一様分散データに取り組む。 モダンは人口密度の高いクラスではうまく機能するが、そのパフォーマンスはテールクラスでは著しく低下する。 Deep-RTCは、リアリズムと階層的予測を組み合わせたロングテール問題の新しい解法として提案されている。
  論文  参考訳（メタデータ） (2020-07-20T05:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。