論文の概要: Create and Find Flatness: Building Flat Training Spaces in Advance for Continual Learning

• arxiv url: http://arxiv.org/abs/2309.11305v1
• Date: Wed, 20 Sep 2023 13:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 16:00:00.183176
• Title: Create and Find Flatness: Building Flat Training Spaces in Advance for Continual Learning
• Title（参考訳）: フラットネスの創造と発見 - 継続的学習のためのフラットトレーニングスペースの構築
• Authors: Wenhang Shi, Yiren Chen, Zhe Zhao, Wei Lu, Kimmo Yan, Xiaoyong Du
• Abstract要約: 破滅的な忘れ物は、継続的な学習の分野で重要な課題である。 本稿では,C&F(Create and Find Flatness)という新しいフレームワークを提案する。 実験結果から,C&Fの非定常学習手法としての最先端性能が示された。
• 参考スコア（独自算出の注目度）: 12.949471415076395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Catastrophic forgetting remains a critical challenge in the field of continual learning, where neural networks struggle to retain prior knowledge while assimilating new information. Most existing studies emphasize mitigating this issue only when encountering new tasks, overlooking the significance of the pre-task phase. Therefore, we shift the attention to the current task learning stage, presenting a novel framework, C&F (Create and Find Flatness), which builds a flat training space for each task in advance. Specifically, during the learning of the current task, our framework adaptively creates a flat region around the minimum in the loss landscape. Subsequently, it finds the parameters' importance to the current task based on their flatness degrees. When adapting the model to a new task, constraints are applied according to the flatness and a flat space is simultaneously prepared for the impending task. We theoretically demonstrate the consistency between the created and found flatness. In this manner, our framework not only accommodates ample parameter space for learning new tasks but also preserves the preceding knowledge of earlier tasks. Experimental results exhibit C&F's state-of-the-art performance as a standalone continual learning approach and its efficacy as a framework incorporating other methods. Our work is available at https://github.com/Eric8932/Create-and-Find-Flatness.
• Abstract（参考訳）: ニューラルネットワークは、新しい情報を同化しながら、事前の知識を保持するのに苦労している。 既存の研究の多くは、新しいタスクに遭遇したときのみこの問題を緩和し、タスク前フェーズの重要性を見越すことを強調している。 そこで我々は,現在のタスク学習段階に注目を移し,新しい枠組みであるc&f (create and find flatness) を提示した。 具体的には,現在の課題の学習において,このフレームワークは損失状況の最小限の領域を適応的に生成する。 その後、その平坦度に基づいて現在のタスクにおけるパラメータの重要性を見出す。 新しいタスクにモデルを適用する場合、フラット性に応じて制約が適用され、差し迫ったタスクに対してフラットスペースが同時に準備される。 理論的には、生成した平坦性と発見された平坦性の一貫性を実証する。 このように、我々のフレームワークは、新しいタスクを学習するための十分なパラメータ空間だけでなく、以前のタスクの知識も保持する。 実験結果から,C&Fの非定常学習手法としての最先端性能と,他の手法を取り入れたフレームワークとしての有効性を示す。 私たちの仕事はhttps://github.com/Eric8932/Create-and-Find-Flatness.comで公開しています。

関連論文リスト

• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Clustering-based Domain-Incremental Learning [4.835091081509403]
  連続学習における鍵となる課題は、いわゆる「破滅的な忘れ問題」である。 動的に更新されたサンプルや勾配の有限プールに対するオンラインクラスタリングに基づくアプローチを提案する。 提案手法の有効性と将来性を示す。
  論文  参考訳（メタデータ） (2023-09-21T13:49:05Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Continual Learning in Low-rank Orthogonal Subspaces [86.36417214618575]
  連続学習(CL)では、学習者は一連のタスクに直面して次々に到着し、学習経験が終わるとすべてのタスクを覚えることが目的である。 CLの以前の技術は、タスク間の干渉を減らすためにエピソードメモリ、パラメータ正規化、ネットワーク構造を使用していたが、最終的には、全てのアプローチが共同ベクトル空間で異なるタスクを学習する。 干渉を最小限に抑えるために互いに直交する異なる(低ランクな)ベクトル部分空間でタスクを学習することを提案する。
  論文  参考訳（メタデータ） (2020-10-22T12:07:43Z)
• Adversarial Continual Learning [99.56738010842301]
  本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。 本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
  論文  参考訳（メタデータ） (2020-03-21T02:08:17Z)
• A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning [48.87397222244402]
  タスクフリー連続学習のための拡張型アプローチを提案する。 我々のモデルは、識別的タスクと生成的タスクの両方に対してタスクフリー連続学習を成功させる。
  論文  参考訳（メタデータ） (2020-01-03T02:07:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。