論文の概要: Improving Forward Compatibility in Class Incremental Learning by Increasing Representation Rank and Feature Richness

• arxiv url: http://arxiv.org/abs/2403.15517v1
• Date: Fri, 22 Mar 2024 11:14:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 22:12:28.205464
• Title: Improving Forward Compatibility in Class Incremental Learning by Increasing Representation Rank and Feature Richness
• Title（参考訳）: クラス増分学習における表現ランクと特徴量の増加による前方適合性の向上
• Authors: Jaeill Kim, Wonseok Lee, Moonjung Eo, Wonjong Rhee,
• Abstract要約: 本稿では,前方互換性向上を目的としたRFR法を提案する。 本研究は,破滅的忘れ込みを緩和しつつ,新規タスク性能を高めるためのアプローチの有効性を実証するものである。
• 参考スコア（独自算出の注目度）: 3.0620294646308754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class Incremental Learning (CIL) constitutes a pivotal subfield within continual learning, aimed at enabling models to progressively learn new classification tasks while retaining knowledge obtained from prior tasks. Although previous studies have predominantly focused on backward compatible approaches to mitigate catastrophic forgetting, recent investigations have introduced forward compatible methods to enhance performance on novel tasks and complement existing backward compatible methods. In this study, we introduce an effective-Rank based Feature Richness enhancement (RFR) method, designed for improving forward compatibility. Specifically, this method increases the effective rank of representations during the base session, thereby facilitating the incorporation of more informative features pertinent to unseen novel tasks. Consequently, RFR achieves dual objectives in backward and forward compatibility: minimizing feature extractor modifications and enhancing novel task performance, respectively. To validate the efficacy of our approach, we establish a theoretical connection between effective rank and the Shannon entropy of representations. Subsequently, we conduct comprehensive experiments by integrating RFR into eleven well-known CIL methods. Our results demonstrate the effectiveness of our approach in enhancing novel-task performance while mitigating catastrophic forgetting. Furthermore, our method notably improves the average incremental accuracy across all eleven cases examined.
• Abstract（参考訳）: クラスインクリメンタルラーニング(クラスインクリメンタルラーニング, Class Incremental Learning, CIL)は、モデルが先行タスクから得られる知識を維持しながら、段階的に新しい分類タスクを学習できるようにすることを目的とした、連続学習における重要なサブフィールドを構成する。 従来の研究は、破滅的な忘れを緩和するための後方互換アプローチに重点を置いてきたが、近年の研究では、新しいタスクの性能向上と既存の後方互換手法を補完する前方互換手法を導入している。 本研究では,前方互換性向上を目的としたRFR法を提案する。 具体的には、本手法は、ベースセッション中の効果的な表現ランクを高め、未知の新規タスクに関連するより情報性の高い特徴の取り込みを容易にする。 その結果、RFRは、それぞれ特徴抽出器の変更を最小化し、新しいタスク性能を向上させるという、後方互換性と前方互換性の両目標を達成する。 提案手法の有効性を検証するため,有効ランクと表現のシャノンエントロピーの理論的関係を確立する。 その後、RFRを11種類のよく知られたCIL手法に統合し、総合的な実験を行う。 本研究は,破滅的忘れ込みを緩和しつつ,新規タスク性能を高めるためのアプローチの有効性を実証するものである。 さらに,本手法は,全11症例の平均増分精度を著しく向上させる。

関連論文リスト

• Boosting Soft Q-Learning by Bounding [4.8748194765816955]
  任意の値関数推定が最適値関数上の二辺境界の導出にも利用できることを示す。 派生したバウンダリは、トレーニングパフォーマンスを高めるための新しいアプローチにつながります。
  論文  参考訳（メタデータ） (2024-06-26T03:02:22Z)
• MIND: Multi-Task Incremental Network Distillation [45.74830585715129]
  本研究では,リプレイフリーソリューションの性能向上を目的としたパラメータ分離手法 MIND を提案する。 以上の結果から,MINDの優れた性能は,クラス増分学習やドメイン増分学習によってもたらされる課題に対処する可能性を示している。
  論文  参考訳（メタデータ） (2023-12-05T17:46:52Z)
• Directly Attention Loss Adjusted Prioritized Experience Replay [0.07366405857677226]
  優先度付き再生体験(PER)は、アクセス頻度を人工的に変化させることで、比較的重要なサンプルについてより深く学習することを可能にする。 DALAPが提案され、パラレル自己保持ネットワークを通じて、シフト分布の変化範囲を直接定量化することができる。
  論文  参考訳（メタデータ） (2023-11-24T10:14:05Z)
• Balanced Supervised Contrastive Learning for Few-Shot Class-Incremental Learning [8.411863266518395]
  我々は,FSCILネットワークの各コアコンポーネントに対して,効果的な手法を統合する,シンプルで強力な学習手法を開発した。 特徴抽出学習において、我々のゴールは、現在の表示可能クラスと見えないクラスと過去のクラスの両方に利益をもたらす、バランスのとれた汎用表現を得ることである。 提案手法は,CUB200,CIFAR100,MiniImagenetデータセットにおいて,新しいタスク学習の優れた能力を示す。
  論文  参考訳（メタデータ） (2023-05-26T07:17:24Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
  本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。 2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。 4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
  論文  参考訳（メタデータ） (2020-07-14T05:46:27Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)
• Incremental Learning for End-to-End Automatic Speech Recognition [41.297106772785206]
  エンドツーエンド自動音声認識(ASR)のための漸進的学習法を提案する。 本稿では, ASRモデルに対する新しい説明可能性に基づく知識蒸留を設計し, 応答に基づく知識蒸留と組み合わせて, 元のモデルの予測と予測の「理性」を維持する。 多段階連続訓練タスクの結果,提案手法は忘れを緩和する上で,既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-11T08:18:08Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。