論文の概要: New Insights for the Stability-Plasticity Dilemma in Online Continual Learning

• arxiv url: http://arxiv.org/abs/2302.08741v1
• Date: Fri, 17 Feb 2023 07:43:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 15:29:57.252574
• Title: New Insights for the Stability-Plasticity Dilemma in Online Continual Learning
• Title（参考訳）: オンライン連続学習における安定性・塑性ジレンマの新しい知見
• Authors: Dahuin Jung, Dongjin Lee, Sunwon Hong, Hyemi Jang, Ho Bae, Sungroh Yoon
• Abstract要約: マルチスケール特徴適応ネットワーク(MuFAN)というオンライン連続学習フレームワークを提案する。 MuFANはSVHN、CIFAR100、miniImageNet、CORe50データセット上で、最先端の継続的な学習方法よりも優れている。
• 参考スコア（独自算出の注目度）: 21.664470275289407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The aim of continual learning is to learn new tasks continuously (i.e., plasticity) without forgetting previously learned knowledge from old tasks (i.e., stability). In the scenario of online continual learning, wherein data comes strictly in a streaming manner, the plasticity of online continual learning is more vulnerable than offline continual learning because the training signal that can be obtained from a single data point is limited. To overcome the stability-plasticity dilemma in online continual learning, we propose an online continual learning framework named multi-scale feature adaptation network (MuFAN) that utilizes a richer context encoding extracted from different levels of a pre-trained network. Additionally, we introduce a novel structure-wise distillation loss and replace the commonly used batch normalization layer with a newly proposed stability-plasticity normalization module to train MuFAN that simultaneously maintains high plasticity and stability. MuFAN outperforms other state-of-the-art continual learning methods on the SVHN, CIFAR100, miniImageNet, and CORe50 datasets. Extensive experiments and ablation studies validate the significance and scalability of each proposed component: 1) multi-scale feature maps from a pre-trained encoder, 2) the structure-wise distillation loss, and 3) the stability-plasticity normalization module in MuFAN. Code is publicly available at https://github.com/whitesnowdrop/MuFAN.
• Abstract（参考訳）: 継続的な学習の目的は、古いタスク(すなわち安定性)から学んだ知識を忘れずに、新しいタスクを継続的に(可塑性)学習することである。 データが厳密にストリーミング方式で行われるオンライン連続学習のシナリオでは、単一のデータポイントから取得可能なトレーニング信号が制限されるため、オフライン連続学習よりもオンライン連続学習の可塑性が脆弱である。 オンライン連続学習における安定性・可塑性ジレンマを克服するために,事前学習されたネットワークの異なるレベルから抽出されたよりリッチなコンテキストエンコーディングを利用するマルチスケール特徴適応ネットワーク(mufan)というオンライン連続学習フレームワークを提案する。 さらに, 構造的蒸留損失を新たに導入し, 一般的なバッチ正規化層を高塑性と安定性を同時に維持するミューファンを訓練するために, 新たに提案する安定可塑性正規化モジュールに置き換える。 MuFANはSVHN、CIFAR100、miniImageNet、CORe50データセット上で、最先端の継続的な学習方法よりも優れている。 広範な実験とアブレーションの研究は、各構成要素の意義と拡張性を検証する。 1)プリトレーニングエンコーダからのマルチスケール特徴マップ 2) 構造ワイド蒸留損失,及び 3) MuFAN の安定塑性正規化モジュール。 コードはhttps://github.com/whitesnowdrop/MuFANで公開されている。

関連論文リスト

• Continual Task Learning through Adaptive Policy Self-Composition [54.95680427960524]
  CompoFormerは構造ベースの連続トランスフォーマーモデルであり、メタポリシックネットワークを介して、以前のポリシーを適応的に構成する。 実験の結果,CompoFormerは従来の継続学習法(CL)よりも優れており,特にタスクシーケンスが長いことが判明した。
  論文  参考訳（メタデータ） (2024-11-18T08:20:21Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning [33.560003528712414]
  自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。 これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。 本稿では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。
  論文  参考訳（メタデータ） (2024-03-27T05:38:48Z)
• New metrics for analyzing continual learners [27.868967961503962]
  継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。 この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。 課題の難しさを考慮に入れた新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-09-01T13:53:33Z)
• CTP: Towards Vision-Language Continual Pretraining via Compatible Momentum Contrast and Topology Preservation [128.00940554196976]
  Vision-Language Continual Pretraining (VLCP)は、大規模なデータセット上でオフラインでトレーニングすることで、さまざまな下流タスクに対して印象的な結果を示している。 VLCP(Vision-Language Continual Pretraining)の研究を支援するために,我々はまず,包括的で統一されたベンチマークデータセットP9Dをコントリビュートする。 独立したタスクとしての各業界からのデータは、継続的な学習をサポートし、Webデータの事前学習をシミュレートする現実世界のロングテールな性質に準拠している。
  論文  参考訳（メタデータ） (2023-08-14T13:53:18Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning [23.15206507040553]
  本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。 より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
  論文  参考訳（メタデータ） (2023-03-16T17:00:42Z)
• New Insights on Relieving Task-Recency Bias for Online Class Incremental Learning [37.888061221999294]
  あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。 安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-16T11:52:00Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
  連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。 破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。 微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-30T06:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。