論文の概要: Grow, Assess, Compress: Adaptive Backbone Scaling for Memory-Efficient Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2603.08426v1
• Date: Mon, 09 Mar 2026 14:21:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:16.202226
• Title: Grow, Assess, Compress: Adaptive Backbone Scaling for Memory-Efficient Class Incremental Learning
• Title（参考訳）: 成長し、評価し、圧縮する: メモリ効率の良いクラスインクリメンタルラーニングのための適応的バックボーンスケーリング
• Authors: Adrian Garcia-Castañeda, Jon Irureta, Jon Imaz, Aizea Lojo,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は、新しいタスクを学習するために必要な可塑性と、忘れることを防ぐために必要な安定性のバランスを維持するという、基本的な課題を提起する。 本稿では,モデルキャパシティを循環的"Grow, Assess, ComprEss"(GRACE)戦略により適応的に管理する新しい動的スケーリングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class Incremental Learning (CIL) poses a fundamental challenge: maintaining a balance between the plasticity required to learn new tasks and the stability needed to prevent catastrophic forgetting. While expansion-based methods effectively mitigate forgetting by adding task-specific parameters, they suffer from uncontrolled architectural growth and memory overhead. In this paper, we propose a novel dynamic scaling framework that adaptively manages model capacity through a cyclic "GRow, Assess, ComprEss" (GRACE) strategy. Crucially, we supplement backbone expansion with a novel saturation assessment phase that evaluates the utilization of the model's capacity. This assessment allows the framework to make informed decisions to either expand the architecture or compress the backbones into a streamlined representation, preventing parameter explosion. Experimental results demonstrate that our approach achieves state-of-the-art performance across multiple CIL benchmarks, while reducing memory footprint by up to a 73% compared to purely expansionist models.
• Abstract（参考訳）: クラスインクリメンタルラーニング(Class Incremental Learning, CIL)は、新しいタスクを学習するために必要な塑性と、破滅的な忘れ込みを防ぐために必要な安定性のバランスを維持するという、基本的な課題を提起する。 拡張ベースの手法は、タスク固有のパラメータを追加することで忘れを効果的に軽減するが、制御不能なアーキテクチャ成長とメモリオーバーヘッドに悩まされる。 本稿では,モデルキャパシティを循環的"Grow, Assess, ComprEss"(GRACE)戦略により適応的に管理する,新しい動的スケーリングフレームワークを提案する。 重要なことは、モデル容量の有効利用を評価する新しい飽和度評価フェーズを伴って、骨骨の伸展を補うことである。 このアセスメントにより、フレームワークはアーキテクチャを拡張するか、バックボーンを合理化された表現に圧縮するか、パラメータの爆発を防げる。 実験により,本手法は複数のCILベンチマークにおける最先端性能を実現し,メモリフットプリントを純粋拡張モデルと比較して最大73%削減した。

関連論文リスト

• Scalable Class-Incremental Learning Based on Parametric Neural Collapse [5.550140856551579]
  増分学習は、新しいデータへの過度な適合や、古いデータの破滅的な忘れなど、しばしば課題に直面する。 パラメトリック・ニューラル・崩壊に基づくスケーラブルなクラスインクリメンタル・ラーニングを提案する。
  論文  参考訳（メタデータ） (2025-12-26T03:34:59Z)
• Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
  大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。 この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
  論文  参考訳（メタデータ） (2025-03-31T10:16:03Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• CEAT: Continual Expansion and Absorption Transformer for Non-Exemplar Class-Incremental Learning [34.59310641291726]
  現実のアプリケーションでは、動的シナリオは、古い知識を忘れずに新しいタスクを継続的に学習する能力を持つ必要がある。 連続膨張吸収変圧器(CEAT)という新しいアーキテクチャを提案する。 このモデルは、凍結した前のパラメータと平行に拡散層を拡張することで、新しい知識を学ぶことができる。 モデルの学習能力を向上させるために,特徴空間における古クラスと新クラスの重複を低減するために,新しいプロトタイプを設計した。
  論文  参考訳（メタデータ） (2024-03-11T12:40:12Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。