論文の概要: Multi-level Collaborative Distillation Meets Global Workspace Model: A Unified Framework for OCIL

• arxiv url: http://arxiv.org/abs/2508.08677v1
• Date: Tue, 12 Aug 2025 06:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.325828
• Title: Multi-level Collaborative Distillation Meets Global Workspace Model: A Unified Framework for OCIL
• Title（参考訳）: グローバルワークスペースモデルとマルチレベル協調蒸留:OCILの統一フレームワーク
• Authors: Shibin Su, Guoqiang Liang, De Cheng, Shizhou Zhang, Lingyan Ran, Yanning Zhang,
• Abstract要約: Online Class-Incremental Learning (OCIL) は、非i.d.データストリームからモデルを継続的に学習することを可能にする。 OCILは、厳格なメモリ制約の下でモデルの安定性を維持すること、新しいタスクへの適応性を確保することの2つの主要な課題に直面している。 グローバルワークスペースモデル(GWM)によるアンサンブル学習を強化する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 38.72433556055473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online Class-Incremental Learning (OCIL) enables models to learn continuously from non-i.i.d. data streams and samples of the data streams can be seen only once, making it more suitable for real-world scenarios compared to offline learning. However, OCIL faces two key challenges: maintaining model stability under strict memory constraints and ensuring adaptability to new tasks. Under stricter memory constraints, current replay-based methods are less effective. While ensemble methods improve adaptability (plasticity), they often struggle with stability. To overcome these challenges, we propose a novel approach that enhances ensemble learning through a Global Workspace Model (GWM)-a shared, implicit memory that guides the learning of multiple student models. The GWM is formed by fusing the parameters of all students within each training batch, capturing the historical learning trajectory and serving as a dynamic anchor for knowledge consolidation. This fused model is then redistributed periodically to the students to stabilize learning and promote cross-task consistency. In addition, we introduce a multi-level collaborative distillation mechanism. This approach enforces peer-to-peer consistency among students and preserves historical knowledge by aligning each student with the GWM. As a result, student models remain adaptable to new tasks while maintaining previously learned knowledge, striking a better balance between stability and plasticity. Extensive experiments on three standard OCIL benchmarks show that our method delivers significant performance improvement for several OCIL models across various memory budgets.
• Abstract（参考訳）: Online Class-Incremental Learning (OCIL) は、オフライン学習よりも現実のシナリオに向いているように、非単位のデータストリームから連続的に学習し、データストリームのサンプルを一度だけ見ることができる。 しかし、OCILは、厳格なメモリ制約の下でモデルの安定性を維持すること、新しいタスクへの適応性を確保することの2つの主要な課題に直面している。 より厳格なメモリ制約の下では、現在のリプレイベースのメソッドは効果が低い。 アンサンブル法は適応性(塑性)を向上させるが、安定性に苦しむことが多い。 これらの課題を克服するために,GWM(Global Workspace Model)によるアンサンブル学習を強化する新しい手法を提案する。 GWMは、各訓練バッチ内のすべての学生のパラメータを融合させ、歴史学習の軌跡を捉え、知識統合のための動的アンカーとして機能させることによって形成される。 この融合モデルは、学生に定期的に再配布され、学習を安定させ、タスク間の一貫性を促進する。 さらに,多段階共同蒸留機構を導入する。 このアプローチは,学生間のピアツーピア一貫性を強制し,各学生をGWMに整合させることで歴史的知識を維持する。 結果として、学生モデルは、学習した知識を維持しながら新しいタスクに適応し続け、安定性と可塑性のバランスを良くする。 3つの標準OCILベンチマークの大規模な実験により, 様々なメモリ予算にまたがる複数のOCILモデルに対して, 本手法が大幅な性能向上をもたらすことが示された。

関連論文リスト

• Continual Learning in Vision-Language Models via Aligned Model Merging [84.47520899851557]
  塑性を保ちながら安定性を維持するために,モデルマージに基づく新しい視点を提案する。 マージプロセスの有効性を最大化するために,従来のものと一致した重みの学習を促進するシンプルなメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-30T20:52:21Z)
• Pareto Continual Learning: Preference-Conditioned Learning and Adaption for Dynamic Stability-Plasticity Trade-off [25.33978152436581]
  連続学習における安定性と塑性のトレードオフを再構築する新しい枠組みを提案する。 ParetoCLは、安定性と可塑性の異なる目的の組み合わせから学習する客観的拡張アプローチと見なすことができる。
  論文  参考訳（メタデータ） (2025-03-30T10:38:36Z)
• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Towards Plastic and Stable Exemplar-Free Incremental Learning: A Dual-Learner Framework with Cumulative Parameter Averaging [12.168402195820649]
  In this proposed a Dual-Learner framework with Cumulative。 平均化(DLCPA) DLCPA は Task-IL と Class-IL の両方の設定において,最先端の既定ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-28T08:48:44Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Learning an evolved mixture model for task-free continual learning [11.540150938141034]
  タスク自由連続学習(TFCL)では,非定常データストリーム上で,明示的なタスク情報を持たないモデルを訓練する。 メモリ過負荷を回避するため,記憶されているサンプルを選択的に削除する2つの単純なドロップアウト機構を導入する。
  論文  参考訳（メタデータ） (2022-07-11T16:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。