論文の概要: Stateless Neural Meta-Learning using Second-Order Gradients

• arxiv url: http://arxiv.org/abs/2104.10527v1
• Date: Wed, 21 Apr 2021 13:34:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 14:39:24.220425
• Title: Stateless Neural Meta-Learning using Second-Order Gradients
• Title（参考訳）: 2次勾配を用いたステートレスニューラルメタラーニング
• Authors: Mike Huisman and Aske Plaat and Jan N. van Rijn
• Abstract要約: メタリアナーLSTMはMAMLを仮定することを示した。 メタリーナーLSTMよりもシンプルでありながら、MMLよりも表現力の高い新しいアルゴリズム(dbbed TURTLE)を構築します。
• 参考スコア（独自算出の注目度）: 1.933681537640272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning typically requires large data sets and much compute power for each new problem that is learned. Meta-learning can be used to learn a good prior that facilitates quick learning, thereby relaxing these requirements so that new tasks can be learned quicker; two popular approaches are MAML and the meta-learner LSTM. In this work, we compare the two and formally show that the meta-learner LSTM subsumes MAML. Combining this insight with recent empirical findings, we construct a new algorithm (dubbed TURTLE) which is simpler than the meta-learner LSTM yet more expressive than MAML. TURTLE outperforms both techniques at few-shot sine wave regression and image classification on miniImageNet and CUB without any additional hyperparameter tuning, at a computational cost that is comparable with second-order MAML. The key to TURTLE's success lies in the use of second-order gradients, which also significantly increases the performance of the meta-learner LSTM by 1-6% accuracy.
• Abstract（参考訳）: ディープラーニングは通常、学習される新しい問題ごとに大きなデータセットと計算能力を必要とする。 メタ学習は、素早い学習を容易にする優れた事前学習に使用することができ、それによってこれらの要件を緩和して、新しいタスクをより早く学習することができる。 本研究では,この2つを比較し,メタラーナーLSTMがMAMLを仮定することを示す。 この知見と最近の経験的知見を組み合わせることで、メタラーナーLSTMよりも単純だがMAMLよりも表現力が高い新しいアルゴリズム(TURTLEと呼ばれる)を構築した。 TURTLEは、2次MAMLに匹敵する計算コストで、数ショットの正弦波レグレッションと miniImageNet と CUB の画像分類において、追加のハイパーパラメータチューニングを伴わずに、両方の技術より優れている。 タートルの成功の鍵は第2次勾配を使用することであり、メタリアナーlstmの性能を1-6%の精度で大幅に向上させる。

関連論文リスト

• Are LSTMs Good Few-Shot Learners? [4.316506818580031]
  2001年、Hochreiterらは、異なるタスクにまたがってバックプロパゲーションで訓練されたLSTMがメタラーニングを行うことができることを示した。 このアプローチを再検討し、現代の数ショットの学習ベンチマークでテストします。 LSTMは、単純な数ショットの正弦波回帰ベンチマークでMAMLよりも優れているが、予想されることに、より複雑な数ショット画像分類ベンチマークでは不足している。
  論文  参考訳（メタデータ） (2023-10-22T00:16:30Z)
• Understanding Transfer Learning and Gradient-Based Meta-Learning Techniques [5.2997197698288945]
  我々は、ファイン、MAML、およびReptileと呼ばれる別のメタラーニング手法の性能差について検討する。 以上の結果から,MAMLの特殊化を促進する上では,データ不足による出力層とノイズの多い訓練条件の両方が重要な役割を担っていることが示唆された。 これらの特徴は,MAML や Reptile が学習した特徴よりも多様で差別的であることを示す。
  論文  参考訳（メタデータ） (2023-10-09T20:51:49Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Meta-learning Spiking Neural Networks with Surrogate Gradient Descent [1.90365714903665]
  メタ学習のような二段階学習は、制限を克服するためにディープラーニングでますます使われている。 我々は,MAMLを用いたSNNのメタトレーニングが,イベントベースメタデータ上でMAMLでトレーニングされた従来のANNのパフォーマンスを上回ることを示す。 本研究では,メタラーニング技術が,実世界の問題にニューロモルフィック学習技術の展開にどのように役立つかを強調した。
  論文  参考訳（メタデータ） (2022-01-26T06:53:46Z)
• Can we learn gradients by Hamiltonian Neural Networks? [68.8204255655161]
  本稿では,勾配を学習するODEニューラルネットワークに基づくメタラーナを提案する。 提案手法は,LLUアクティベーションを最適化したMLMとMNISTデータセットにおいて,LSTMに基づくメタラーナーよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-31T18:35:10Z)
• Improving Deep Learning for HAR with shallow LSTMs [70.94062293989832]
  本稿では,DeepConvLSTMを2層LSTMではなく1層LSTMに変更することを提案する。 この結果は、シーケンシャルデータを扱う場合、少なくとも2層LSTMが必要であるという信念とは対照的である。
  論文  参考訳（メタデータ） (2021-08-02T08:14:59Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• La-MAML: Look-ahead Meta Learning for Continual Learning [14.405620521842621]
  オンライン連続学習のための高速最適化に基づくメタ学習アルゴリズムであるLook-ahead MAML(La-MAML)を提案する。 La-MAMLは他のリプレイベース、事前ベース、メタラーニングベースアプローチよりも優れたパフォーマンスを実現し、実世界の視覚分類ベンチマークで連続学習を行う。
  論文  参考訳（メタデータ） (2020-07-27T23:07:01Z)
• Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
  S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。 そこで本研究では,S-LSTMの深度適応機構を提案する。
  論文  参考訳（メタデータ） (2020-02-29T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。