論文の概要: SEDEG:Sequential Enhancement of Decoder and Encoder's Generality for Class Incremental Learning with Small Memory

• arxiv url: http://arxiv.org/abs/2508.12932v1
• Date: Mon, 18 Aug 2025 13:55:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:11.364603
• Title: SEDEG:Sequential Enhancement of Decoder and Encoder's Generality for Class Incremental Learning with Small Memory
• Title（参考訳）: SEDEG:小型メモリを用いたクラスインクリメンタル学習におけるデコーダとエンコーダの汎用性の逐次向上
• Authors: Hongyang Chen, Shaoling Pu, Lingyu Zheng, Zhongwu Sun,
• Abstract要約: インクリメンタルラーニングでは、動的データ入力に適応するために、知識の一般性を高めることが不可欠である。 SEDEGは、一般化表現を学ぶために機能強化を通じてアンサンブルエンコーダを訓練する。 次の段階では、知識蒸留戦略を用いてエンサンブルエンコーダを圧縮し、より一般化されたエンコーダを開発する。
• 参考スコア（独自算出の注目度）: 11.197556113382186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In incremental learning, enhancing the generality of knowledge is crucial for adapting to dynamic data inputs. It can develop generalized representations or more balanced decision boundaries, preventing the degradation of long-term knowledge over time and thus mitigating catastrophic forgetting. Some emerging incremental learning methods adopt an encoder-decoder architecture and have achieved promising results. In the encoder-decoder achitecture, improving the generalization capabilities of both the encoder and decoder is critical, as it helps preserve previously learned knowledge while ensuring adaptability and robustness to new, diverse data inputs. However, many existing continual methods focus solely on enhancing one of the two components, which limits their effectiveness in mitigating catastrophic forgetting. And these methods perform even worse in small-memory scenarios, where only a limited number of historical samples can be stored. To mitigate this limitation, we introduces SEDEG, a two-stage training framework for vision transformers (ViT), focusing on sequentially improving the generality of both Decoder and Encoder. Initially, SEDEG trains an ensembled encoder through feature boosting to learn generalized representations, which subsequently enhance the decoder's generality and balance the classifier. The next stage involves using knowledge distillation (KD) strategies to compress the ensembled encoder and develop a new, more generalized encoder. This involves using a balanced KD approach and feature KD for effective knowledge transfer. Extensive experiments on three benchmark datasets show SEDEG's superior performance, and ablation studies confirm the efficacy of its components. The code is available at https://github.com/ShaolingPu/CIL.
• Abstract（参考訳）: インクリメンタルラーニングでは、動的データ入力に適応するために、知識の一般性を高めることが不可欠である。 一般化された表現やよりバランスの取れた決定境界を開発することができ、長期にわたる知識の劣化を防ぎ、破滅的な忘れを軽減できる。 いくつかの新しいインクリメンタル学習手法はエンコーダ・デコーダアーキテクチャを採用し、有望な結果を得た。 エンコーダ・デコーダ・アキテクチュアでは、エンコーダとデコーダの両方の一般化能力の向上が重要である。 しかし、既存の多くの連続的手法は、破滅的な忘れを緩和する効果を制限する2つの構成要素のうちの1つを強化することのみに焦点を当てている。 そして、これらのメソッドは、限られた数の履歴サンプルしか保存できない小さなメモリシナリオでさらにパフォーマンスが悪くなります。 この制限を緩和するために、視覚変換器(ViT)のための2段階トレーニングフレームワークであるSEDEGを導入し、デコーダとエンコーダの両方の汎用性を逐次改善することに焦点を当てた。 当初、SEDEGは機能強化を通じてアンサンブルエンコーダを訓練し、一般化された表現を学習し、デコーダの一般化を高め、分類器のバランスをとる。 次の段階では、知識蒸留(KD)戦略を使用して、アンサンブルエンコーダを圧縮し、より一般化されたエンコーダを開発する。 これは、効果的な知識伝達のためにバランスの取れたKDアプローチと機能KDを使用する。 3つのベンチマークデータセットの大規模な実験は、SEDEGの優れた性能を示し、アブレーション研究は、そのコンポーネントの有効性を確認した。 コードはhttps://github.com/ShaolingPu/CILで公開されている。

関連論文リスト

• Beyond the Encoder: Joint Encoder-Decoder Contrastive Pre-Training Improves Dense Prediction [0.7237068561453082]
  コントラスト付き事前学習をサポートする効率的なエンコーダ-デコーダ自己教師型学習(SSL)フレームワークであるDeConを提案する。 厳密な予測タスクに確立された対照的なSSLフレームワークを適用することで、DeConは新たな最先端の結果を達成する。 実験の結果,共同事前学習はエンコーダの表現力を向上し,高密度予測タスクの性能向上を図っている。
  論文  参考訳（メタデータ） (2025-03-21T20:19:13Z)
• Epsilon-VAE: Denoising as Visual Decoding [61.29255979767292]
  復号化は1段階の再構成から反復的改良へと移行する。 具体的には、デコーダを拡散処理に置き換え、ノイズを反復的に改善して元の画像を復元する。 拡散による反復的再構成により, 自己エンコーダであるEpsilon-VAEは高い再構成品質を実現する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• An Effective Mixture-Of-Experts Approach For Code-Switching Speech Recognition Leveraging Encoder Disentanglement [9.28943772676672]
  コードスイッチング現象は、自動音声認識を妨げる大きな障害である。 エンコーダの下層層が言語間音響情報を捕捉できるようにするために, 新たなアンタングルメント損失を導入する。 提案手法は,事前訓練されたデュアルエンコーダを用いた先行技術よりも優れていることを確認した。
  論文  参考訳（メタデータ） (2024-02-27T04:08:59Z)
• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models [22.276574156358084]
  我々は,各デコーダ層が妥当な予測を生成できるように,深層監視で訓練されたマルチエキシット・エンコーダ・デコーダ・トランスフォーマモデルを構築した。 提案手法は,ベースラインに比べて精度が向上し,全体の推論遅延を30%から60%削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-15T01:01:02Z)
• Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation [54.23510028456082]
  半教師付きセマンティックセグメンテーションのためのトリプルビュー知識蒸留フレームワークTriKDを提案する。 このフレームワークは、トリプルビューエンコーダとデュアル周波数デコーダを含む。
  論文  参考訳（メタデータ） (2023-09-22T01:02:21Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。