論文の概要: Rethinking the Stability-Plasticity Trade-off in Continual Learning from an Architectural Perspective

• arxiv url: http://arxiv.org/abs/2506.03951v1
• Date: Wed, 04 Jun 2025 13:40:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.360003
• Title: Rethinking the Stability-Plasticity Trade-off in Continual Learning from an Architectural Perspective
• Title（参考訳）: アーキテクチャの観点からの継続的学習における安定性-弾塑性トレードオフの再考
• Authors: Aojun Lu, Hangjie Yuan, Tao Feng, Yanan Sun,
• Abstract要約: 本稿では,継続学習のためのプラグインコンポーネントとして機能するDual-Archという新しいフレームワークを紹介する。 本論文では,Dual-Archが既存のCL法の性能を向上させるとともに,パラメータの最大87%がコンパクトであることを示す。
• 参考スコア（独自算出の注目度）: 10.168076754354992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quest for Continual Learning (CL) seeks to empower neural networks with the ability to learn and adapt incrementally. Central to this pursuit is addressing the stability-plasticity dilemma, which involves striking a balance between two conflicting objectives: preserving previously learned knowledge and acquiring new knowledge. While numerous CL methods aim to achieve this trade-off, they often overlook the impact of network architecture on stability and plasticity, restricting the trade-off to the parameter level. In this paper, we delve into the conflict between stability and plasticity at the architectural level. We reveal that under an equal parameter constraint, deeper networks exhibit better plasticity, while wider networks are characterized by superior stability. To address this architectural-level dilemma, we introduce a novel framework denoted Dual-Arch, which serves as a plug-in component for CL. This framework leverages the complementary strengths of two distinct and independent networks: one dedicated to plasticity and the other to stability. Each network is designed with a specialized and lightweight architecture, tailored to its respective objective. Extensive experiments demonstrate that Dual-Arch enhances the performance of existing CL methods while being up to 87% more compact in terms of parameters.
• Abstract（参考訳）: 継続学習(CL)の探求は、ニューラルネットワークを学習し、漸進的に適応する能力で強化することを目指している。 この追求の中心は安定性と塑性のジレンマに対処することであり、これは相反する2つの目標のバランスを崩すことである。 多くのCL手法は、このトレードオフを達成することを目的としているが、ネットワークアーキテクチャが安定性と可塑性に与える影響を見落とし、パラメータレベルへのトレードオフを制限する。 本稿では,建築レベルでの安定性と塑性の相違について考察する。 等価パラメータ制約の下では、より深いネットワークはより優れた塑性を示すが、より広いネットワークはより優れた安定性を特徴とする。 このアーキテクチャレベルのジレンマに対処するために、CLのプラグインコンポーネントとして機能するDual-Archという新しいフレームワークを導入する。 この枠組みは、2つの独立したネットワークの相補的な強みを利用する: 1つは可塑性に、もう1つは安定性に特化している。 各ネットワークは、それぞれの目的に合わせて、特殊で軽量なアーキテクチャで設計されている。 拡張実験により、Dual-Archは既存のCL法の性能を向上し、パラメータの点で最大87%コンパクトであることが示された。

関連論文リスト

• A Unified Gradient-based Framework for Task-agnostic Continual Learning-Unlearning [30.2773429357068]
  近年の深層モデルの進歩は、知識獲得のための連続学習(CL)とデータ除去のための機械アンラーニング(MU)を組み合わせたインテリジェントシステムの必要性を強調している。 Kullback-Leibler の発散最小化に基づく統一最適化フレームワークにより,本質的な接続を明らかにする。 実験により、提案したUG-CLUフレームワークは、複数のデータセットやモデルアーキテクチャにわたるインクリメンタルラーニング、正確なアンラーニング、知識安定性を効果的に調整することを示した。
  論文  参考訳（メタデータ） (2025-05-21T06:49:05Z)
• Lifelong Learning with Task-Specific Adaptation: Addressing the Stability-Plasticity Dilemma [13.567823451714405]
  生涯学習は、学習した知識を維持しながら、新しい知識を継続的に獲得することを目的としている。 安定性-塑性ジレンマは、過去の知識(安定性)の保存と新しいタスク(塑性)を学習する能力のバランスをとるモデルを必要とする。 本稿では、単純で普遍的で効果的な戦略を通じてジレンマに対処するアダプタベースのフレームワークであるAdaLLを提案する。
  論文  参考訳（メタデータ） (2025-03-08T13:33:38Z)
• Continuous Knowledge-Preserving Decomposition for Few-Shot Continual Learning [80.31842748505895]
  FSCIL(Few-shot class-incremental Learning)は、事前知識を維持しながら、限られたデータから新しいクラスを学習する。 モデルの重みを2つの部分に分解するフレームワークである FSCIL (CKPD-FSCIL) の連続的知識保存分解を提案する。 複数のベンチマークで実験したところ、CKPD-FSCILは最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。 本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。 我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning [23.15206507040553]
  本稿では、ニューラルネットワークに現在の課題を学習する能力を持たせるために、補助的ネットワーク継続学習(ANCL)を提案する。 ANCLは、主に安定性に焦点を当てた継続的な学習モデルに可塑性を促進する補助ネットワークを付加する。 より具体的には、提案するフレームワークは、可塑性と安定性を自然に補間する正規化器として実現されている。
  論文  参考訳（メタデータ） (2023-03-16T17:00:42Z)
• Representation Compensation Networks for Continual Semantic Segmentation [79.05769734989164]
  深いニューラルネットワークが破滅的な忘れをせずに新しいクラスを継続的に組み込む必要がある,連続的なセマンティックセマンティックセグメンテーション問題について検討する。 本稿では,従来の知識と新しい知識の両方の表現学習を分離するために,構造的再パラメータ化機構である表現補償(RC)モジュールを提案する。 連続的なクラスセグメンテーションと連続的なドメインセグメンテーションという2つの挑戦的な意味セグメンテーションのシナリオについて実験を行う。
  論文  参考訳（メタデータ） (2022-03-10T14:48:41Z)
• Adaptive Aggregation Networks for Class-Incremental Learning [102.20140790771265]
  CIL(Class-Incremental Learning)は,段階別クラス数の増加にともなう分類モデルを学習することを目的としている。 CILの固有の問題は、古いクラスと新しいクラスの学習の間の安定性-塑性ジレンマである。
  論文  参考訳（メタデータ） (2020-10-10T18:24:24Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。