論文の概要: Fast & Slow Learning: Incorporating Synthetic Gradients in Neural Memory Controllers

• arxiv url: http://arxiv.org/abs/2011.05438v1
• Date: Tue, 10 Nov 2020 22:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 07:50:06.268379
• Title: Fast & Slow Learning: Incorporating Synthetic Gradients in Neural Memory Controllers
• Title（参考訳）: fast & slow learning: ニューラルメモリコントローラに合成勾配を組み込む
• Authors: Tharindu Fernando, Simon Denman, Sridha Sridharan, Clinton Fookes
• Abstract要約: 我々は,NMNコントローラの学習プロセスを分離し,新しい情報が存在する場合に柔軟で迅速な適応を実現することを提案する。 この特徴は、メモリコントローラがターゲットドメインの抽象概念を素早く把握し、記憶された知識を適応しなければならないメタ学習タスクにおいて非常に有益である。
• 参考スコア（独自算出の注目度）: 41.59845953349713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Memory Networks (NMNs) have received increased attention in recent years compared to deep architectures that use a constrained memory. Despite their new appeal, the success of NMNs hinges on the ability of the gradient-based optimiser to perform incremental training of the NMN controllers, determining how to leverage their high capacity for knowledge retrieval. This means that while excellent performance can be achieved when the training data is consistent and well distributed, rare data samples are hard to learn from as the controllers fail to incorporate them effectively during model training. Drawing inspiration from the human cognition process, in particular the utilisation of neuromodulators in the human brain, we propose to decouple the learning process of the NMN controllers to allow them to achieve flexible, rapid adaptation in the presence of new information. This trait is highly beneficial for meta-learning tasks where the memory controllers must quickly grasp abstract concepts in the target domain, and adapt stored knowledge. This allows the NMN controllers to quickly determine which memories are to be retained and which are to be erased, and swiftly adapt their strategy to the new task at hand. Through both quantitative and qualitative evaluations on multiple public benchmarks, including classification and regression tasks, we demonstrate the utility of the proposed approach. Our evaluations not only highlight the ability of the proposed NMN architecture to outperform the current state-of-the-art methods, but also provide insights on how the proposed augmentations help achieve such superior results. In addition, we demonstrate the practical implications of the proposed learning strategy, where the feedback path can be shared among multiple neural memory networks as a mechanism for knowledge sharing.
• Abstract（参考訳）: ニューラルメモリネットワーク(nmns)は近年、制約付きメモリを使用するディープアーキテクチャに比べて注目を集めている。 新たな魅力にもかかわらず、NMNsの成功は、勾配に基づくオプティマイザがNMNコントローラのインクリメンタルトレーニングを実行し、その高容量を知識検索に活用する方法を決定することによる。 これは、トレーニングデータの一貫性と分散性に優れたパフォーマンスを実現することができるが、コントローラーがモデルトレーニング中にそれらを効果的に組み込むことができないため、希少なデータサンプルを学習することは困難である。 人間の認知過程,特にヒト脳におけるニューロモジュレータの利用からインスピレーションを得て,NMNコントローラの学習プロセスを分離し,新しい情報の存在下で柔軟かつ迅速な適応を可能にすることを提案する。 この特性は、メモリコントローラがターゲットドメインの抽象概念を素早く把握し、格納された知識を適応しなければならないメタ学習タスクに非常に有益である。 これによりNMNコントローラは、どのメモリを保持し、どのメモリを消去するかを素早く決定し、新しいタスクに迅速に戦略を適用することができる。 分類・回帰タスクを含む複数の公開ベンチマークにおける定量的・質的評価を通じ,提案手法の有用性を実証する。 我々の評価は、提案したNMNアーキテクチャが現在の最先端手法よりも優れていることを示すだけでなく、提案した拡張がそのような優れた結果の達成にどのように役立つかについての洞察を提供する。 さらに,学習経路を複数のニューラルメモリネットワーク間で共有し,知識共有のメカニズムとする学習戦略の実際的意義を実証する。

関連論文リスト

• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Accelerating Neural Network Training: A Brief Review [0.5825410941577593]
  本研究では,ディープニューラルネットワーク(DNN)の学習過程を高速化するための革新的なアプローチについて検討する。 この研究は、グラディエント累積(GA)、自動混合精度(AMP)、ピンメモリ(PM)などの高度な手法を利用する。
  論文  参考訳（メタデータ） (2023-12-15T18:43:45Z)
• Real-Time Progressive Learning: Accumulate Knowledge from Control with Neural-Network-Based Selective Memory [2.8638167607890836]
  リアルタイム・プログレッシブ・ラーニング(RTPL)と呼ばれる放射基底関数ニューラルネットワークに基づく学習制御方式を提案する。 RTPLは安定性と閉ループ性能を保証したシステムの未知のダイナミクスを学習する。
  論文  参考訳（メタデータ） (2023-08-08T12:39:57Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)
• Dynamic Knowledge embedding and tracing [18.717482292051788]
  本稿では,行列分解の手法と最近のリカレントニューラルネットワーク(RNN)の進歩を組み合わせた知識追跡手法を提案する。 提案するemphDynEmbフレームワークは,概念やスキルのタグ情報を使わずに,学生の知識の追跡を可能にする。
  論文  参考訳（メタデータ） (2020-05-18T21:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。