論文の概要: Fixed Random Classifier Rearrangement for Continual Learning
- arxiv url: http://arxiv.org/abs/2402.15227v1
- Date: Fri, 23 Feb 2024 09:43:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 15:01:43.032678
- Title: Fixed Random Classifier Rearrangement for Continual Learning
- Title（参考訳）: 連続学習のための固定ランダム分類器再構成
- Authors: Shengyang Huang and Jianwen Mo
- Abstract要約: 視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。
我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.5439020425819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the explosive growth of data, continual learning capability is
increasingly important for neural networks. Due to catastrophic forgetting,
neural networks inevitably forget the knowledge of old tasks after learning new
ones. In visual classification scenario, a common practice of alleviating the
forgetting is to constrain the backbone. However, the impact of classifiers is
underestimated. In this paper, we analyze the variation of model predictions in
sequential binary classification tasks and find that the norm of the equivalent
one-class classifiers significantly affects the forgetting level. Based on this
conclusion, we propose a two-stage continual learning algorithm named Fixed
Random Classifier Rearrangement (FRCR). In first stage, FRCR replaces the
learnable classifiers with fixed random classifiers, constraining the norm of
the equivalent one-class classifiers without affecting the performance of the
network. In second stage, FRCR rearranges the entries of new classifiers to
implicitly reduce the drift of old latent representations. The experimental
results on multiple datasets show that FRCR significantly mitigates the model
forgetting; subsequent experimental analyses further validate the effectiveness
of the algorithm.
- Abstract（参考訳）: データの爆発的な成長により、ニューラルネットワークにとって継続的な学習能力はますます重要である。
破滅的な忘れ物のため、ニューラルネットワークは必然的に古いタスクの知識を忘れてしまう。
視覚分類シナリオでは、忘れたことを緩和する一般的なプラクティスは、バックボーンを制約することである。
しかし、分類器の影響は過小評価されている。
本稿では,逐次二分分類タスクにおけるモデル予測のばらつきを分析し,等価な一分分類器のノルムが忘れるレベルに大きく影響することを示す。
そこで本研究では,Fixed Random Classifier Rearrangement (FRCR) という2段階連続学習アルゴリズムを提案する。
最初の段階では、FRCRは学習可能な分類器を固定ランダム分類器に置き換え、等価な1クラス分類器のノルムをネットワークの性能に影響を与えることなく制限する。
第2段階では、FRCRは、古い潜伏表現の漂流を暗黙的に減少させるために、新しい分類器のエントリを並べ替える。
複数のデータセットに対する実験結果から、FRCRはモデル忘れを著しく軽減し、その後の実験的分析によりアルゴリズムの有効性がさらに検証された。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Decoupled Training for Long-Tailed Classification With Stochastic
Representations [15.990318581975435]
表現学習と学習の分離は,長期データを用いた分類に有効であることが示されている。
まず、ディープニューラルネットワークの一般化を改善するための最適化手法であるウェイト平均化(SWA)を適用し、長い尾の分類のためのより優れた一般化特徴抽出器を得る。
そこで我々は,SWA-Gaussian,Gaussian SWA,および自己蒸留戦略から得られた摂動表現に基づく新しい分類器再学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-04-19T05:35:09Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Informative regularization for a multi-layer perceptron RR Lyrae
classifier under data shift [3.303002683812084]
本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。
提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
論文 参考訳（メタデータ） (2023-03-12T02:49:19Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - The Impact of Using Regression Models to Build Defect Classifiers [13.840006058766766]
継続的欠陥数を欠陥クラスと非欠陥クラスに分類することは、よくあるプラクティスである。
両手法を用いて構築した欠陥分類器の性能と解釈を比較した。
論文 参考訳（メタデータ） (2022-02-12T22:12:55Z) - Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。
我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。
得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
論文 参考訳（メタデータ） (2022-01-23T21:18:17Z) - Robust Neural Network Classification via Double Regularization [2.41710192205034]
本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。
我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
論文 参考訳（メタデータ） (2021-12-15T13:19:20Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳（メタデータ） (2021-10-22T01:55:01Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳（メタデータ） (2021-06-09T12:02:29Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳（メタデータ） (2020-08-31T04:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。