論文の概要: Adaptive Model Ensemble for Continual Learning

• arxiv url: http://arxiv.org/abs/2509.19819v1
• Date: Wed, 24 Sep 2025 07:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-25 20:53:19.713024
• Title: Adaptive Model Ensemble for Continual Learning
• Title（参考訳）: 連続学習のための適応モデルアンサンブル
• Authors: Yuchuan Mao, Zhi Gao, Xiaomeng Fan, Yuwei Wu, Yunde Jia, Chenchen Jing,
• Abstract要約: 本稿では,メタウェイト・アンサンブラを用いて,連続学習のための異なるタスクの知識を適応的に融合させる手法を提案する。 メタウェイトアンサンブラは,破滅的な忘れ事の達成と最先端のパフォーマンスを効果的に軽減することを示した。
• 参考スコア（独自算出の注目度）: 39.8598770622072
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model ensemble is an effective strategy in continual learning, which alleviates catastrophic forgetting by interpolating model parameters, achieving knowledge fusion learned from different tasks. However, existing model ensemble methods usually encounter the knowledge conflict issue at task and layer levels, causing compromised learning performance in both old and new tasks. To solve this issue, we propose meta-weight-ensembler that adaptively fuses knowledge of different tasks for continual learning. Concretely, we employ a mixing coefficient generator trained via meta-learning to generate appropriate mixing coefficients for model ensemble to address the task-level knowledge conflict. The mixing coefficient is individually generated for each layer to address the layer-level knowledge conflict. In this way, we learn the prior knowledge about adaptively accumulating knowledge of different tasks in a fused model, achieving efficient learning in both old and new tasks. Meta-weight-ensembler can be flexibly combined with existing continual learning methods to boost their ability of alleviating catastrophic forgetting. Experiments on multiple continual learning datasets show that meta-weight-ensembler effectively alleviates catastrophic forgetting and achieves state-of-the-art performance.
• Abstract（参考訳）: モデルアンサンブルは連続学習において効果的な戦略であり、モデルパラメータを補間することで破滅的な忘れを軽減し、異なるタスクから学んだ知識融合を達成する。 しかし、既存のモデルアンサンブル手法は、通常、タスクとレイヤレベルでの知識衝突問題に遭遇し、古いタスクと新しいタスクの両方で学習性能が損なわれる。 この問題を解決するために,メタウェイトアンサンブラを提案し,連続学習のための様々なタスクの知識を適応的に融合させる。 具体的には,メタラーニングにより訓練された混合係数生成器を用いて,タスクレベルの知識衝突に対処するためのモデルアンサンブルに適切な混合係数を生成する。 各層に対して混合係数を個別に生成し、層レベルの知識衝突に対処する。 このようにして、異なるタスクの知識を融合モデルで適応的に蓄積し、古いタスクと新しいタスクの両方で効率的な学習を実現することに関する事前知識を学習する。 メタウェイトアンサンブラは、破滅的な忘れを緩和する能力を高めるために、既存の継続学習手法と柔軟に組み合わせることができる。 複数の連続学習データセットの実験では、メタウェイトアンサンブラが破滅的な忘れを効果的に軽減し、最先端のパフォーマンスを達成することが示されている。

関連論文リスト

• Multi-level Collaborative Distillation Meets Global Workspace Model: A Unified Framework for OCIL [38.72433556055473]
  Online Class-Incremental Learning (OCIL) は、非i.d.データストリームからモデルを継続的に学習することを可能にする。 OCILは、厳格なメモリ制約の下でモデルの安定性を維持すること、新しいタスクへの適応性を確保することの2つの主要な課題に直面している。 グローバルワークスペースモデル(GWM)によるアンサンブル学習を強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-08-12T06:52:33Z)
• ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
  我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。 固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。 提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
  論文  参考訳（メタデータ） (2024-05-15T13:22:39Z)
• Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
  異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。 従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。 本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
  論文  参考訳（メタデータ） (2024-02-01T08:58:57Z)
• Class-Incremental Learning via Knowledge Amalgamation [14.513858688486701]
  破滅的な忘れ込みは、継続的な学習環境におけるディープラーニングアルゴリズムの展開を妨げる重要な問題である。 我々は、知識の融合(CFA)による破滅的な忘れを解消するための代替戦略を提唱した。 CFAは、過去のタスクに特化した複数の異種教師モデルから学生ネットワークを学習し、現在のオフライン手法に適用することができる。
  論文  参考訳（メタデータ） (2022-09-05T19:49:01Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet Process [15.350366047108103]
  生涯学習における最近の研究成果は、タスクの増加に対応するために、モデルの混合を成長させることが提案されている。 本研究では,データの確率的表現間の差分距離に基づいてリスク境界を導出することにより,生涯学習モデルの理論的解析を行う。 理論解析に着想を得て, 生涯無限混合モデル (LIMix) と呼ばれる新しい生涯学習手法を導入する。
  論文  参考訳（メタデータ） (2021-08-25T21:06:20Z)
• Behavior Priors for Efficient Reinforcement Learning [97.81587970962232]
  本稿では,情報とアーキテクチャの制約を,確率論的モデリング文献のアイデアと組み合わせて行動の事前学習を行う方法について考察する。 このような潜伏変数の定式化が階層的強化学習(HRL)と相互情報と好奇心に基づく目的との関係について論じる。 シミュレーションされた連続制御領域に適用することで,フレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-27T13:17:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。