論文の概要: Continual Learning by Modeling Intra-Class Variation

• arxiv url: http://arxiv.org/abs/2210.05398v1
• Date: Tue, 11 Oct 2022 12:17:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:42:54.135842
• Title: Continual Learning by Modeling Intra-Class Variation
• Title（参考訳）: クラス内変動のモデル化による連続学習
• Authors: Longhui Yu, Tianyang Hu, Lanqing Hong, Zhen Liu, Adrian Weller, Weiyang Liu
• Abstract要約: データやタスクがシーケンシャルに提示された場合、ニューラルネットワークはパフォーマンスが悪くなっていることが観察されている。 人間とは異なり、ニューラルネットワークは破滅的な忘れ込みに悩まされており、生涯学習することは不可能である。 本稿では,記憶に基づく連続学習について検討し,大惨な忘れ込みを避けるためには,表現空間の大規模な変動が不可欠であることを確認した。
• 参考スコア（独自算出の注目度）: 33.30614232534283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been observed that neural networks perform poorly when the data or tasks are presented sequentially. Unlike humans, neural networks suffer greatly from catastrophic forgetting, making it impossible to perform life-long learning. To address this issue, memory-based continual learning has been actively studied and stands out as one of the best-performing methods. We examine memory-based continual learning and identify that large variation in the representation space is crucial for avoiding catastrophic forgetting. Motivated by this, we propose to diversify representations by using two types of perturbations: model-agnostic variation (i.e., the variation is generated without the knowledge of the learned neural network) and model-based variation (i.e., the variation is conditioned on the learned neural network). We demonstrate that enlarging representational variation serves as a general principle to improve continual learning. Finally, we perform empirical studies which demonstrate that our method, as a simple plug-and-play component, can consistently improve a number of memory-based continual learning methods by a large margin.
• Abstract（参考訳）: データやタスクがシーケンシャルに提示された場合、ニューラルネットワークの性能は低下する。 人間とは異なり、ニューラルネットワークは壊滅的な記憶の喪失に苦しむため、生涯学習は不可能である。 この問題に対処するために,メモリベースの連続学習が積極的に研究され,最も優れた方法の1つとして注目されている。 記憶に基づく連続学習を考察し,大惨事の回避には表現空間のばらつきが不可欠であることを示す。 そこで本研究では,モデル非依存の変動(学習したニューラルネットワークの知識を伴わずに変動が生成される)とモデルに基づく変動(学習したニューラルネットワークで変動が条件づけられる)という2種類の摂動を用いて表現を多様化することを提案する。 表現的変化の拡大が連続学習を改善するための一般的な原則であることを示す。 最後に,本手法を単純なプラグ・アンド・プレイコンポーネントとして,メモリベースの連続学習手法を多数連続的に改善できることを実証する実験を行った。

関連論文リスト

• Neuromimetic metaplasticity for adaptive continual learning [2.1749194587826026]
  本研究では,人間の作業記憶にインスパイアされたメタ塑性モデルを提案する。 このアプローチの重要な側面は、安定から柔軟性までの異なるタイプのシナプスを実装し、それらをランダムに混在させて、柔軟性の異なるシナプス接続をトレーニングすることである。 このモデルは、追加の訓練や構造変更を必要とせず、メモリ容量と性能のバランスのとれたトレードオフを実現した。
  論文  参考訳（メタデータ） (2024-07-09T12:21:35Z)
• A multifidelity approach to continual learning for physical systems [1.4218223473363278]
  本稿では,多要素深層ニューラルネットワークに基づく連続学習手法を提案する。 本手法は,既存のトレーニングデータセット上で,事前学習したモデルの出力と所望のモデルの出力との相関関係を学習する。
  論文  参考訳（メタデータ） (2023-04-08T03:07:43Z)
• Error Sensitivity Modulation based Experience Replay: Mitigating Abrupt Representation Drift in Continual Learning [13.041607703862724]
  本稿では,デュアルメモリリハーサルシステムにおけるエラー感度を変調する原理的機構を用いたESMERを提案する。 ESMERは、知識を集約しながら、新しいタスクに徐々に適応することにより、タスク境界における表現の忘れと突然のドリフトを効果的に低減する。 注目すべきは、実世界のデータストリームでユビキタスであるラベルノイズの高レベル下での学習を可能にすることだ。
  論文  参考訳（メタデータ） (2023-02-14T16:35:54Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Learning where to learn: Gradient sparsity in meta and continual learning [4.845285139609619]
  学習アルゴリズムがどの重みを変えるかを決定することによって、メタ学習を改善することができることを示す。 このプロセスからパターン化されたスパーシリティが出現し、そのパターンは問題ごとの確率に基づいて変化する。 その結果、メタ学習が適応可能な特徴を発見できるかどうかの議論が進行中であり、疎勾配降下による学習がメタ学習システムにとって強力な帰納的バイアスであることを示唆している。
  論文  参考訳（メタデータ） (2021-10-27T12:54:36Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
  破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。 本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
  論文  参考訳（メタデータ） (2020-06-12T06:00:27Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。