論文の概要: Neural Routing in Meta Learning

• arxiv url: http://arxiv.org/abs/2210.07932v1
• Date: Fri, 14 Oct 2022 16:31:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 17:29:28.673687
• Title: Neural Routing in Meta Learning
• Title（参考訳）: メタ学習におけるニューラルルーティング
• Authors: Jicang Cai, Saeed Vahidian, Weijia Wang, Mohsen Joneidi, and Bill Lin
• Abstract要約: 入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
• 参考スコア（独自算出の注目度）: 9.070747377130472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning often referred to as learning-to-learn is a promising notion raised to mimic human learning by exploiting the knowledge of prior tasks but being able to adapt quickly to novel tasks. A plethora of models has emerged in this context and improved the learning efficiency, robustness, etc. The question that arises here is can we emulate other aspects of human learning and incorporate them into the existing meta learning algorithms? Inspired by the widely recognized finding in neuroscience that distinct parts of the brain are highly specialized for different types of tasks, we aim to improve the model performance of the current meta learning algorithms by selectively using only parts of the model conditioned on the input tasks. In this work, we describe an approach that investigates task-dependent dynamic neuron selection in deep convolutional neural networks (CNNs) by leveraging the scaling factor in the batch normalization (BN) layer associated with each convolutional layer. The problem is intriguing because the idea of helping different parts of the model to learn from different types of tasks may help us train better filters in CNNs, and improve the model generalization performance. We find that the proposed approach, neural routing in meta learning (NRML), outperforms one of the well-known existing meta learning baselines on few-shot classification tasks on the most widely used benchmark datasets.
• Abstract（参考訳）: 学習から学習へ(learning-to-learn)と呼ばれるメタラーニングは、以前のタスクの知識を活用しつつ、新しいタスクに素早く適応できることによって、人間の学習を模倣する有望な概念である。 この文脈で多くのモデルが登場し、学習効率や堅牢性などが向上した。 ここで生じる問題は、人間の学習の他の側面をエミュレートし、それらを既存のメタ学習アルゴリズムに組み込むことができるか? 脳の異なる部分が様々なタスクに高度に特化しているという神経科学の発見に着想を得て、入力タスクに条件付けられたモデルの部分のみを選択的に使用することにより、現在のメタ学習アルゴリズムのモデル性能を向上させることを目指す。 本稿では,各畳み込み層に関連付けられたバッチ正規化(bn)層のスケーリング係数を利用して,深層畳み込みニューラルネットワーク(cnns)におけるタスク依存動的ニューロン選択について検討する。 問題は、モデルの異なる部分の異なるタスクから学習するのを助けるというアイデアが、CNNでより良いフィルタをトレーニングし、モデルの一般化性能を改善するのに役立つためである。 提案手法であるnrml(neural routing in meta learning)は,最も広く使用されているベンチマークデータセットにおいて,数少ない分類タスクにおいて既知のメタ学習ベースラインの1つを上回っている。

関連論文リスト

• Similarity-based context aware continual learning for spiking neural networks [12.259720271932661]
  類似性に基づくSCA-SNN(Context Aware Spiking Neural Network)連続学習アルゴリズムを提案する。 SCA-SNNモデルは、タスク間のコンテキスト的類似性に基づいて、新しいタスクに有益な以前のタスクからニューロンを適応的に再利用することができる。 提案アルゴリズムは,ニューロン群を適応的に選択し,効率的な連続学習の生物学的解釈性を高めるための有望なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-10-28T09:38:57Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Image classification network enhancement methods based on knowledge injection [8.885876832491917]
  本稿では,多段階階層型ディープラーニングアルゴリズムを提案する。 マルチレベルの階層型ディープラーニングアーキテクチャと、マルチレベルの階層型ディープラーニングフレームワークで構成されている。 実験の結果,提案アルゴリズムはニューラルネットワークの隠れた情報を効果的に説明できることがわかった。
  論文  参考訳（メタデータ） (2024-01-09T09:11:41Z)
• Sparse Multitask Learning for Efficient Neural Representation of Motor Imagery and Execution [30.186917337606477]
  運動画像(MI)と運動実行(ME)タスクのためのスパースマルチタスク学習フレームワークを提案する。 MI-ME分類のためのデュアルタスクCNNモデルが与えられた場合、過渡的な接続に対して、サリエンシに基づくスペーシフィケーションアプローチを適用する。 以上の結果から, この調整された疎水性は, 過度に適合する問題を緩和し, 少ないデータ量でテスト性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T09:06:16Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。