論文の概要: Continual Learning via Inter-Task Synaptic Mapping

• arxiv url: http://arxiv.org/abs/2106.13954v1
• Date: Sat, 26 Jun 2021 06:30:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-29 14:01:10.029052
• Title: Continual Learning via Inter-Task Synaptic Mapping
• Title（参考訳）: タスク間シナプスマッピングによる連続学習
• Authors: Mao Fubing, Weng Weiwei, Mahardhika Pratama, Edward Yapp Kien Yee
• Abstract要約: ストリーミングタスクから学ぶことは、前回のエピソードから吸収したユニークな体験を破滅的に消去するモデルにつながる。 連続学習における知識保持の基盤となるタスク間シナプスマッピング(ISYANA)を提案する。
• 参考スコア（独自算出の注目度）: 11.380222038653256
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning from streaming tasks leads a model to catastrophically erase unique experiences it absorbs from previous episodes. While regularization techniques such as LWF, SI, EWC have proven themselves as an effective avenue to overcome this issue by constraining important parameters of old tasks from changing when accepting new concepts, these approaches do not exploit common information of each task which can be shared to existing neurons. As a result, they do not scale well to large-scale problems since the parameter importance variables quickly explode. An Inter-Task Synaptic Mapping (ISYANA) is proposed here to underpin knowledge retention for continual learning. ISYANA combines task-to-neuron relationship as well as concept-to-concept relationship such that it prevents a neuron to embrace distinct concepts while merely accepting relevant concept. Numerical study in the benchmark continual learning problems has been carried out followed by comparison against prominent continual learning algorithms. ISYANA exhibits competitive performance compared to state of the arts. Codes of ISYANA is made available in \url{https://github.com/ContinualAL/ISYANAKBS}.
• Abstract（参考訳）: ストリーミングタスクから学ぶことは、前回から吸収したユニークな体験を壊滅的に消去するモデルにつながる。 LWF、SI、EWCのような正規化技術は、新しい概念を受け入れる際に古いタスクの重要なパラメータが変化することを制限することで、この問題を克服するための効果的な手段として証明されているが、これらのアプローチは既存のニューロンと共有できる各タスクの共通情報を活用していない。 その結果、パラメータの重要性変数が急速に爆発するため、大規模な問題に対してうまくスケールできない。 連続学習における知識保持の基盤となるタスク間シナプスマッピング(ISYANA)を提案する。 isyanaは、タスク対ニューロンの関係と概念対概念関係を組み合わせることで、ニューロンが関連する概念を受け入れながら、異なる概念を受け入れることを妨げている。 ベンチマーク連続学習問題における数値的研究は、顕著な連続学習アルゴリズムとの比較に続くものである。 ISYANAは、最先端の芸術と比較して競争力がある。 ISYANAのコードは \url{https://github.com/ContinualAL/ISYANAKBS} で公開されている。

関連論文リスト

• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• Neuro-Symbolic Continual Learning: Knowledge, Reasoning Shortcuts and Concept Rehearsal [26.999987105646966]
  本稿では,ニューロシンボリック連続学習(Neuro-Symbolic Continual Learning)を紹介する。 私たちのキーとなる観察は、ニューロシンボリックなタスクは異なるものの、意味論が時間とともに安定している概念を共有していることです。 ニューロシンボリックアーキテクチャと継続的な戦略を組み合わせることで、先行知識を活用することで、破滅的な忘れを回避できることが示される。
  論文  参考訳（メタデータ） (2023-02-02T17:24:43Z)
• Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
  継続的な学習の鍵となる課題は破滅的な忘れ方だ。 知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。 提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
  論文  参考訳（メタデータ） (2023-02-02T04:03:38Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Mixture-of-Variational-Experts for Continual Learning [0.0]
  学習と忘れのトレードオフを促進する最適原理を提案する。 我々はMixture-of-Variational-Experts (MoVE)と呼ばれる連続学習のためのニューラルネットワーク層を提案する。 MNISTおよびCIFAR10データセットの変種に関する実験は、MoVE層の競合性能を示す。
  論文  参考訳（メタデータ） (2021-10-25T06:32:06Z)
• Unifying Regularisation Methods for Continual Learning [0.913755431537592]
  継続的学習は、複数の異なるタスクを逐次学習するという課題に対処する。 以前のタスクの知識を再アクセスすることなく維持するという目標は、ニューラルネットワークの標準的なSGDトレーニングと激しく対立する。 正規化アプローチは、与えられたタスクを解決するための各パラメータの重要性を測定し、大きな変更から重要なパラメータを保護する。
  論文  参考訳（メタデータ） (2020-06-11T12:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。