論文の概要: S2IL: Structurally Stable Incremental Learning

• arxiv url: http://arxiv.org/abs/2503.12193v1
• Date: Sat, 15 Mar 2025 16:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:33:52.688745
• Title: S2IL: Structurally Stable Incremental Learning
• Title（参考訳）: S2IL: 構造的に安定なインクリメンタルラーニング
• Authors: S Balasubramanian, Yedu Krishna P, Talasu Sai Sriram, M Sai Subramaniam, Manepalli Pranav Phanindra Sai, Darshan Gera,
• Abstract要約: CILのFD法である構造安定インクリメンタルラーニング(S22IL)を提案する。 S22ILは、フレキシブル(塑性)だが、古い知識(安定性)を保存する安定した表現を促進する特徴の全体的空間パターンの保存に焦点を当てている。 提案手法は,SOTAベンチマークデータセットであるCIFAR-100, ImageNet-100, ImageNet-1Kにおいて,高いインクリメンタル精度を実現し,他のFD手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 3.4195465306914836
• License:
• Abstract: Feature Distillation (FD) strategies are proven to be effective in mitigating Catastrophic Forgetting (CF) seen in Class Incremental Learning (CIL). However, current FD approaches enforce strict alignment of feature magnitudes and directions across incremental steps, limiting the model's ability to adapt to new knowledge. In this paper we propose Structurally Stable Incremental Learning(S22IL), a FD method for CIL that mitigates CF by focusing on preserving the overall spatial patterns of features which promote flexible (plasticity) yet stable representations that preserve old knowledge (stability). We also demonstrate that our proposed method S2IL achieves strong incremental accuracy and outperforms other FD methods on SOTA benchmark datasets CIFAR-100, ImageNet-100 and ImageNet-1K. Notably, S2IL outperforms other methods by a significant margin in scenarios that have a large number of incremental tasks.
• Abstract（参考訳）: 機能蒸留 (FD) 戦略は, クラスインクリメンタルラーニング (CIL) に見られるカタストロフィック・フォーッティング (CF) の緩和に有効であることが証明されている。 しかしながら、現在のFDアプローチでは、段階的なステップをまたいだ機能の大きさと方向の厳格なアライメントを強制し、モデルが新しい知識に適応する能力を制限する。 本稿では,従来の知識(安定性)を保った柔軟な(塑性)安定表現を促進する特徴の空間的パターン全体を保存することに着目し,CFを緩和するCILのFD手法であるStructurely Stable Incremental Learning(S22IL)を提案する。 また,提案手法は,SOTAベンチマークデータセットであるCIFAR-100, ImageNet-100, ImageNet-1Kにおいて,高いインクリメンタル精度を実現し,他のFD手法よりも優れていることを示す。 特に、S2ILは、多数のインクリメンタルタスクを持つシナリオにおいて、他のメソッドよりも大幅に優れています。

関連論文リスト

• EXACFS -- A CIL Method to mitigate Catastrophic Forgetting [3.2562590728737058]
  本稿では,クラスインクリメンタルな学習環境においてこの問題を軽減するために,Exponentially Averaged Class-wise Feature Significance (EXACFS)を提案する。 CIFAR-100とImageNet-100の実験は、可塑性を取得しながら安定性を維持するEXACFSの優れた性能を示した。
  論文  参考訳（メタデータ） (2024-10-31T09:11:56Z)
• FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental Learning with Hill-Climbing [3.533544633664583]
  EFCIL(Exemplar-free class-incremental Learning)は、主に破滅的な忘れが原因で大きな課題を提起する。 従来のEFCILのアプローチは、連続した微調整や安定性を通じて、プラスチックのモデルに傾くのが一般的である。 本稿では,様々なオーバーサンプリング手法と動的最適化手法の有効性を検討するための基礎的なFeTrILフレームワークを構築した。
  論文  参考訳（メタデータ） (2024-03-12T08:34:05Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• PlaStIL: Plastic and Stable Memory-Free Class-Incremental Learning [49.0417577439298]
  過去の知識を保ちながら新しいデータから学ぶためには、クラス増分学習において塑性と安定性が必要である。 そこで本稿では, 可塑性と安定性のバランスを良くするために, パラメータ数に類似する手法を提案する。
  論文  参考訳（メタデータ） (2022-09-14T12:53:00Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Local-Selective Feature Distillation for Single Image Super-Resolution [42.83228585332463]
  単一画像超解像(SISR)に適した新しい特徴蒸留法(FD)を提案する。 本稿では, SISRタスクに苦しむ既存のFitNetベースのFD手法の限界を示すとともに, ローカルな特徴情報に焦点を合わせるために既存のFDアルゴリズムを変更することを提案する。 提案手法をLSFDと呼び,従来のFD法よりもSISR法の方が優れていることを確認した。
  論文  参考訳（メタデータ） (2021-11-22T05:05:37Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。