論文の概要: Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2403.18266v1
• Date: Wed, 27 Mar 2024 05:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 18:16:31.408925
• Title: Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning
• Title（参考訳）: ブランチチューニング:継続的自己監督型学習のための安定性と塑性のバランス
• Authors: Wenzhuo Liu, Fei Zhu, Cheng-Lin Liu,
• Abstract要約: 自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。 これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。 本稿では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。
• 参考スコア（独自算出の注目度）: 33.560003528712414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has emerged as an effective paradigm for deriving general representations from vast amounts of unlabeled data. However, as real-world applications continually integrate new content, the high computational and resource demands of SSL necessitate continual learning rather than complete retraining. This poses a challenge in striking a balance between stability and plasticity when adapting to new information. In this paper, we employ Centered Kernel Alignment for quantitatively analyzing model stability and plasticity, revealing the critical roles of batch normalization layers for stability and convolutional layers for plasticity. Motivated by this, we propose Branch-tuning, an efficient and straightforward method that achieves a balance between stability and plasticity in continual SSL. Branch-tuning consists of branch expansion and compression, and can be easily applied to various SSL methods without the need of modifying the original methods, retaining old data or models. We validate our method through incremental experiments on various benchmark datasets, demonstrating its effectiveness and practical value in real-world scenarios. We hope our work offers new insights for future continual self-supervised learning research. The code will be made publicly available.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。 しかし、現実世界のアプリケーションは新たなコンテンツを継続的に統合しているため、SSLの高度な計算とリソース要求は、完全な再学習よりも継続的な学習を必要としている。 これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。 本稿では,モデル安定性と可塑性を定量的に解析するためにCentered Kernel Alignmentを用い,安定度に対するバッチ正規化層と可塑性に対する畳み込み層の重要性を明らかにした。 そこで本研究では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。 ブランチチューニングはブランチ拡張と圧縮で構成されており、元のメソッドを変更することなく、古いデータやモデルを保持することなく、さまざまなSSLメソッドに簡単に適用することができる。 提案手法は,様々なベンチマークデータセットのインクリメンタルな実験を通じて検証し,実世界のシナリオにおけるその有効性と実用的価値を実証する。 今後の継続的な自己教師型学習研究に新たな洞察を提供することを期待しています。 コードは公開されます。

関連論文リスト

• Evaluating and Improving Continual Learning in Spoken Language Understanding [58.723320551761525]
  本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。 提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
  論文  参考訳（メタデータ） (2024-02-16T03:30:27Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• New metrics for analyzing continual learners [27.868967961503962]
  継続学習(CL)は、標準的な学習アルゴリズムに課題をもたらす。 この安定性・塑性ジレンマはCLの中心であり、安定性と塑性を個別に適切に測定するために複数の測定基準が提案されている。 課題の難しさを考慮に入れた新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-09-01T13:53:33Z)
• On the Stability-Plasticity Dilemma of Class-Incremental Learning [50.863180812727244]
  クラス増分学習の第一の目的は、安定性と可塑性のバランスをとることである。 本稿では,近年のクラス増分学習アルゴリズムが,安定性と塑性のトレードオフにいかに効果的かを明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2023-04-04T09:34:14Z)
• New Insights for the Stability-Plasticity Dilemma in Online Continual Learning [21.664470275289407]
  マルチスケール特徴適応ネットワーク(MuFAN)というオンライン連続学習フレームワークを提案する。 MuFANはSVHN、CIFAR100、miniImageNet、CORe50データセット上で、最先端の継続的な学習方法よりも優れている。
  論文  参考訳（メタデータ） (2023-02-17T07:43:59Z)
• New Insights on Relieving Task-Recency Bias for Online Class Incremental Learning [37.888061221999294]
  あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。 安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-16T11:52:00Z)
• Balancing Stability and Plasticity through Advanced Null Space in Continual Learning [77.94570903726856]
  我々は,従来のタスクの古いデータを格納することなく,安定性と可塑性のバランスをとるために,新しい連続学習手法Advanced Null Space(AdNS)を提案する。 また,現在のタスクの性能向上を図るため,タスク内蒸留を簡便かつ効果的に行う方法を提案する。 実験結果から,提案手法は最先端の連続学習手法よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-07-25T11:04:22Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Towards Better Plasticity-Stability Trade-off in Incremental Learning: A simple Linear Connector [8.13916229438606]
  塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。 本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-15T07:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。