論文の概要: Is the Meta-Learning Idea Able to Improve the Generalization of Deep
Neural Networks on the Standard Supervised Learning?
- arxiv url: http://arxiv.org/abs/2002.12455v1
- Date: Thu, 27 Feb 2020 21:29:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 07:20:57.870486
- Title: Is the Meta-Learning Idea Able to Improve the Generalization of Deep
Neural Networks on the Standard Supervised Learning?
- Title（参考訳）: メタ学習のアイデアは、標準教師付き学習におけるディープニューラルネットワークの一般化を改善するか?
- Authors: Xiang Deng and Zhongfei Zhang
- Abstract要約: 深層ニューラルネットワーク(DNN)のための新しいメタラーニングベーストレーニング手法(M)を提案する。
Mは、タスクとしてトレーニングサンプルのバッチを考慮することで、メタトレーニングプロセスをシミュレートする。
実験結果から,異なる大きさの一般化に対して,一貫した性能向上が得られた。
- 参考スコア（独自算出の注目度）: 34.00378876525579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Substantial efforts have been made on improving the generalization abilities
of deep neural networks (DNNs) in order to obtain better performances without
introducing more parameters. On the other hand, meta-learning approaches
exhibit powerful generalization on new tasks in few-shot learning. Intuitively,
few-shot learning is more challenging than the standard supervised learning as
each target class only has a very few or no training samples. The natural
question that arises is whether the meta-learning idea can be used for
improving the generalization of DNNs on the standard supervised learning. In
this paper, we propose a novel meta-learning based training procedure (MLTP)
for DNNs and demonstrate that the meta-learning idea can indeed improve the
generalization abilities of DNNs. MLTP simulates the meta-training process by
considering a batch of training samples as a task. The key idea is that the
gradient descent step for improving the current task performance should also
improve a new task performance, which is ignored by the current standard
procedure for training neural networks. MLTP also benefits from all the
existing training techniques such as dropout, weight decay, and batch
normalization. We evaluate MLTP by training a variety of small and large neural
networks on three benchmark datasets, i.e., CIFAR-10, CIFAR-100, and Tiny
ImageNet. The experimental results show a consistently improved generalization
performance on all the DNNs with different sizes, which verifies the promise of
MLTP and demonstrates that the meta-learning idea is indeed able to improve the
generalization of DNNs on the standard supervised learning.
- Abstract（参考訳）: より多くのパラメータを導入することなく、より良いパフォーマンスを得るために、ディープニューラルネットワーク(DNN)の一般化能力を改善するための実質的な努力がなされている。
一方で、メタラーニングのアプローチは、少数の学習において新しいタスクに対して強力な一般化を示す。
直感的には、目標クラスがトレーニングサンプルをほとんど、あるいは全く持たないため、標準教師あり学習よりも少ないショットラーニングの方が難しい。
自然の疑問は、メタラーニングのアイデアが標準教師付き学習におけるDNNの一般化に利用できるかどうかである。
本稿では,DNNのためのメタラーニングベーストレーニング手法(MLTP)を提案し,メタラーニングのアイデアがDNNの一般化能力を向上させることを実証する。
MLTPは、一連のトレーニングサンプルをタスクとして考慮して、メタトレーニングプロセスをシミュレートする。
重要なアイデアは、現在のタスクパフォーマンスを改善するための勾配降下ステップは、ニューラルネットのトレーニングの現在の標準手順によって無視される新しいタスクパフォーマンスも改善されるべきである。
MLTPはまた、ドロップアウト、体重減少、バッチ正規化といった既存のトレーニングテクニックの恩恵を受ける。
我々は,CIFAR-10,CIFAR-100,Tiny ImageNetという3つのベンチマークデータセットを用いて,MLTPの評価を行った。
実験結果は,MLTPの可能性を検証し,メタラーニングのアイデアが標準教師付き学習におけるDNNの一般化を改善することができることを示す。
関連論文リスト
- Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Improving Representational Continuity via Continued Pretraining [76.29171039601948]
トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。
LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。
LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
論文 参考訳（メタデータ） (2023-02-26T10:39:38Z) - Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳（メタデータ） (2022-10-14T16:31:24Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-10-11T06:45:15Z) - On the Effectiveness of Fine-tuning Versus Meta-reinforcement Learning [71.55412580325743]
本稿では,新しいタスクを微調整したマルチタスク事前学習がメタテスト時間適応によるメタ事前学習と同等かそれ以上に機能することを示す。
マルチタスク事前学習はメタRLよりもシンプルで計算的に安価である傾向があるため、これは将来の研究を奨励している。
論文 参考訳（メタデータ） (2022-06-07T13:24:00Z) - What Matters For Meta-Learning Vision Regression Tasks? [19.373532562905208]
本論文は,このほとんど探索されていない領域の理解に寄与する2つの主要な貢献を行う。
まず、オブジェクト発見とポーズ推定という2つの新しいカテゴリレベルの視覚回帰タスクを設計する。
第2に,条件付きニューラルプロセス(CNP)におけるタスク表現に関数型コントラスト学習(FCL)を付加し,エンドツーエンドで学習する手法を提案する。
論文 参考訳（メタデータ） (2022-03-09T17:28:16Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Generalising via Meta-Examples for Continual Learning in the Wild [24.09600678738403]
我々は「野生で学習する」ニューラルネットワークを扱うための新しい戦略を開発する
MEML - Meta-Example Meta-Learning - 破滅的な忘れを同時に緩和する新しいモジュール。
様々な拡張タスクを作成し、最も難しいタスクを最適化する手法を採用して拡張する。
論文 参考訳（メタデータ） (2021-01-28T15:51:54Z) - Meta Learning Backpropagation And Improving It [4.061135251278187]
NNにおける単純なウェイトシェアリングとスパーシリティは、再利用可能な方法で強力な学習アルゴリズム(LA)を表現するのに十分であることを示す。
VS-ML RNNと呼ばれるVS-MLの単純な実装は、フォワードモードでRNNを実行するだけでバックプロパゲーションLAを実装することができる。
バックプロパゲーションを改善する新しいLAをメタ学習し、メタトレーニングディストリビューション以外のデータセットに一般化することもできます。
論文 参考訳（メタデータ） (2020-12-29T18:56:10Z) - Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。
既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。
パターン認識型メタラーニング手法を提案する。
論文 参考訳（メタデータ） (2020-10-19T08:06:47Z) - Meta-Learning with Network Pruning [40.07436648243748]
本稿では,ネットワークのキャパシティを明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。
我々はDense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上でのアプローチを実装した。
論文 参考訳（メタデータ） (2020-07-07T06:13:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。