論文の概要: Meta Learning Backpropagation And Improving It

• arxiv url: http://arxiv.org/abs/2012.14905v2
• Date: Tue, 16 Feb 2021 17:28:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 20:49:18.857689
• Title: Meta Learning Backpropagation And Improving It
• Title（参考訳）: メタ学習のバックプロパゲーションと改善
• Authors: Louis Kirsch and J\"urgen Schmidhuber
• Abstract要約: NNにおける単純なウェイトシェアリングとスパーシリティは、再利用可能な方法で強力な学習アルゴリズム(LA)を表現するのに十分であることを示す。 VS-ML RNNと呼ばれるVS-MLの単純な実装は、フォワードモードでRNNを実行するだけでバックプロパゲーションLAを実装することができる。 バックプロパゲーションを改善する新しいLAをメタ学習し、メタトレーニングディストリビューション以外のデータセットに一般化することもできます。
• 参考スコア（独自算出の注目度）: 4.061135251278187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many concepts have been proposed for meta learning with neural networks (NNs), e.g., NNs that learn to control fast weights, hyper networks, learned learning rules, and meta recurrent NNs. Our Variable Shared Meta Learning (VS-ML) unifies the above and demonstrates that simple weight-sharing and sparsity in an NN is sufficient to express powerful learning algorithms (LAs) in a reusable fashion. A simple implementation of VS-ML called VS-ML RNN allows for implementing the backpropagation LA solely by running an RNN in forward-mode. It can even meta-learn new LAs that improve upon backpropagation and generalize to datasets outside of the meta training distribution without explicit gradient calculation. Introspection reveals that our meta-learned LAs learn qualitatively different from gradient descent through fast association.
• Abstract（参考訳）: ニューラルネットワーク(nns)を用いたメタ学習には,高速重み制御やハイパーネットワーク,学習ルール,メタリカレントnnなど,多くの概念が提案されている。 我々の可変共有メタラーニング(VS-ML)は、NNにおける単純なウェイトシェアリングとスパーシリティが、強力な学習アルゴリズム(LA)を再利用可能な方法で表現するのに十分であることを示す。 VS-ML RNNと呼ばれるVS-MLのシンプルな実装では、前方モードでRNNを実行するだけで、バックプロパゲーションLAを実装することができる。 バックプロパゲーションを改善し、明示的な勾配計算なしでメタトレーニング分布外のデータセットに一般化する新しいlasをメタ学習することもできる。 イントロスペクションにより,我々のメタ学習LAは,高速な結合を通じて勾配降下と定性的に異なることが判明した。

関連論文リスト

• ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
  ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。 我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
  論文  参考訳（メタデータ） (2024-10-08T12:22:10Z)
• Meta-ticket: Finding optimal subnetworks for few-shot learning within randomly initialized neural networks [16.146036509065247]
  ニューラルネットワーク(NN)のためのわずかなショットラーニングは、少数のデータでNNをトレーニングすることを目的とした重要な問題である。 本稿では,メタチケットと呼ばれるメタ学習手法を提案し,ランダムにNN内の数発の学習に最適なスパースワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T09:03:57Z)
• Meta-learning Spiking Neural Networks with Surrogate Gradient Descent [1.90365714903665]
  メタ学習のような二段階学習は、制限を克服するためにディープラーニングでますます使われている。 我々は,MAMLを用いたSNNのメタトレーニングが,イベントベースメタデータ上でMAMLでトレーニングされた従来のANNのパフォーマンスを上回ることを示す。 本研究では,メタラーニング技術が,実世界の問題にニューロモルフィック学習技術の展開にどのように役立つかを強調した。
  論文  参考訳（メタデータ） (2022-01-26T06:53:46Z)
• Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers [67.688697838109]
  本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。 2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
  論文  参考訳（メタデータ） (2021-11-29T09:30:06Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Reinforcement Learning with External Knowledge by using Logical Neural Networks [67.46162586940905]
  論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。 外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T12:34:59Z)
• Fast On-Device Adaptation for Spiking Neural Networks via Online-Within-Online Meta-Learning [31.78005607111787]
  Spiking Neural Networks(SNN)は、デバイス上のエッジインテリジェンスのための機械学習モデルとして最近人気を集めている。 本稿では, OWOML-SNN と呼ばれる SNN のオンラインメタ学習ルールを提案する。
  論文  参考訳（メタデータ） (2021-02-21T04:28:49Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Is the Meta-Learning Idea Able to Improve the Generalization of Deep Neural Networks on the Standard Supervised Learning? [34.00378876525579]
  深層ニューラルネットワーク(DNN)のための新しいメタラーニングベーストレーニング手法(M)を提案する。 Mは、タスクとしてトレーニングサンプルのバッチを考慮することで、メタトレーニングプロセスをシミュレートする。 実験結果から,異なる大きさの一般化に対して,一貫した性能向上が得られた。
  論文  参考訳（メタデータ） (2020-02-27T21:29:54Z)
• Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks [34.49034775978504]
  1つの線形層とリカレントニューラルネットワーク(RNN)の組み合わせで各DL層を定式化できる新しいDDL手法を提案する。 提案する研究は,ニューラルネットワークとDDLに関する新たな知見を公開し,深層変換を共同学習するための新しい,効率的かつ競争的なアプローチと,推論アプリケーションのためのメトリクスを提供する。
  論文  参考訳（メタデータ） (2020-02-18T22:04:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。