論文の概要: A Meta-Learned Neuron model for Continual Learning

• arxiv url: http://arxiv.org/abs/2111.02557v1
• Date: Wed, 3 Nov 2021 23:39:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-06 02:02:13.468652
• Title: A Meta-Learned Neuron model for Continual Learning
• Title（参考訳）: 連続学習のためのメタラーニングニューロンモデル
• Authors: Rodrigue Siry
• Abstract要約: 継続的な学習は、以前に学んだ知識を忘れずに新しい知識を得る能力である。 本研究では、標準的なニューロンをメタ学習ニューロンモデルで置き換える。 提案手法は,トレーニングサンプルのデータセット長シーケンスを記憶し,その学習能力を任意のドメインに一般化する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning is the ability to acquire new knowledge without forgetting the previously learned one, assuming no further access to past training data. Neural network approximators trained with gradient descent are known to fail in this setting as they must learn from a stream of data-points sampled from a stationary distribution to converge. In this work, we replace the standard neuron by a meta-learned neuron model whom inference and update rules are optimized to minimize catastrophic interference. Our approach can memorize dataset-length sequences of training samples, and its learning capabilities generalize to any domain. Unlike previous continual learning methods, our method does not make any assumption about how tasks are constructed, delivered and how they relate to each other: it simply absorbs and retains training samples one by one, whether the stream of input data is time-correlated or not.
• Abstract（参考訳）: 継続学習とは、過去のトレーニングデータにアクセスできないと仮定して、学習した知識を忘れずに新しい知識を得る能力である。 勾配降下で訓練されたニューラルネットワーク近似器は、定常分布からサンプリングされたデータポイントのストリームから学習する必要があるため、この設定で失敗することが知られている。 本研究では,破滅的干渉を最小限に抑えるために推論と更新規則を最適化したメタ学習ニューロンモデルにより,標準ニューロンを置き換える。 トレーニングサンプルのデータセット長シーケンスを記憶し,その学習能力を任意のドメインに一般化する。 従来の連続学習法とは異なり,本手法では,タスクの作り方,提供方法,相互関係について,入力データのストリームが時間的関連であるか否かに関わらず,トレーニングサンプルを1つずつ吸収・保持する。

関連論文リスト

• Learning to Continually Learn with the Bayesian Principle [36.75558255534538]
  本研究では、ニューラルネットワークの強力な表現力と、忘れることに対する単純な統計モデルの堅牢性を組み合わせたメタラーニングパラダイムを採用する。 ニューラルネットワークは継続学習中に固定されているため、破滅的な忘れ物から保護されている。
  論文  参考訳（メタデータ） (2024-05-29T04:53:31Z)
• Premonition: Using Generative Models to Preempt Future Data Changes in Continual Learning [63.850451635362425]
  継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。 本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。 トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
  論文  参考訳（メタデータ） (2024-03-12T06:29:54Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Transferring Learning Trajectories of Neural Networks [2.2299983745857896]
  深層ニューラルネットワーク(DNN)のトレーニングには計算コストがかかる。 我々は、与えられた学習軌跡を1つの初期パラメータから別のパラメータへ"転送する"という問題を定式化する。 移動パラメータが直接トレーニングの前に非自明な精度を達成できることを実証的に示し、スクラッチからトレーニングするよりもはるかに高速に訓練できることを実証した。
  論文  参考訳（メタデータ） (2023-05-23T14:46:32Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• Explain to Not Forget: Defending Against Catastrophic Forgetting with XAI [10.374979214803805]
  破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。 我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。 我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
  論文  参考訳（メタデータ） (2022-05-04T08:00:49Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)
• A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks [1.1802674324027231]
  移動学習のための自己教師付き事前学習は、ラベルのないデータを用いて最先端の結果を改善する技術として、ますます人気が高まっている。 本稿では,自己指導型学習と伝達学習の分類学の概要を述べるとともに,各領域にまたがる事前学習タスクを設計するためのいくつかの顕著な手法を強調した。
  論文  参考訳（メタデータ） (2020-07-01T22:55:48Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。