論文の概要: Regularizing Meta-Learning via Gradient Dropout
- arxiv url: http://arxiv.org/abs/2004.05859v1
- Date: Mon, 13 Apr 2020 10:47:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-13 23:36:23.357143
- Title: Regularizing Meta-Learning via Gradient Dropout
- Title（参考訳）: 勾配ドロップアウトによるメタラーニングの規則化
- Authors: Hung-Yu Tseng, Yi-Wen Chen, Yi-Hsuan Tsai, Sifei Liu, Yen-Yu Lin,
Ming-Hsuan Yang
- Abstract要約: メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。
本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
- 参考スコア（独自算出の注目度）: 102.29924160341572
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the growing attention on learning-to-learn new tasks using only a few
examples, meta-learning has been widely used in numerous problems such as
few-shot classification, reinforcement learning, and domain generalization.
However, meta-learning models are prone to overfitting when there are no
sufficient training tasks for the meta-learners to generalize. Although
existing approaches such as Dropout are widely used to address the overfitting
problem, these methods are typically designed for regularizing models of a
single task in supervised training. In this paper, we introduce a simple yet
effective method to alleviate the risk of overfitting for gradient-based
meta-learning. Specifically, during the gradient-based adaptation stage, we
randomly drop the gradient in the inner-loop optimization of each parameter in
deep neural networks, such that the augmented gradients improve generalization
to new tasks. We present a general form of the proposed gradient dropout
regularization and show that this term can be sampled from either the Bernoulli
or Gaussian distribution. To validate the proposed method, we conduct extensive
experiments and analysis on numerous computer vision tasks, demonstrating that
the gradient dropout regularization mitigates the overfitting problem and
improves the performance upon various gradient-based meta-learning frameworks.
- Abstract（参考訳）: 少数の例で学習から学習までの新たなタスクに注目が集まる中、メタラーニングは、少数ショットの分類、強化学習、ドメインの一般化といった多くの問題に広く用いられている。
しかしメタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向にある。
ドロップアウトのような既存の手法はオーバーフィッティング問題に対処するために広く用いられているが、これらの手法は典型的には教師付きトレーニングにおいて単一のタスクのモデルを正規化するために設計されている。
本稿では,グラデーションベースメタラーニングにおける過剰適合のリスクを軽減し,簡便かつ効果的な手法を提案する。
具体的には、勾配に基づく適応段階において、深層ニューラルネットワークにおける各パラメータの内ループ最適化の勾配をランダムに落とし、拡張勾配が新しいタスクへの一般化を改善する。
提案する勾配降下正規化の一般的な形を示し、この項をベルヌーイ分布またはガウス分布からサンプリングできることを示す。
提案手法を検証するため,多数のコンピュータビジョンタスクに対する広範な実験と解析を行い,勾配のドロップアウト正規化がオーバーフィッティング問題を軽減し,様々な勾配に基づくメタ学習フレームワークの性能向上を実証した。
関連論文リスト
- Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。
UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。
CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
論文 参考訳（メタデータ） (2024-11-03T02:38:43Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Continual Learning with Scaled Gradient Projection [8.847574864259391]
ニューラルネットワークでは、連続学習はシーケンシャルタスク間の勾配干渉を引き起こし、新しいタスクを学習しながら古いタスクを忘れてしまう。
本稿では,忘れを最小化しつつ,新しい学習を改善するためのスケールドグラディエント・プロジェクション(SGP)手法を提案する。
画像の連続的分類から強化学習タスクまでに及ぶ実験を行い、最先端の手法よりも訓練オーバーヘッドの少ない性能を報告した。
論文 参考訳（メタデータ） (2023-02-02T19:46:39Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳（メタデータ） (2022-03-02T22:35:58Z) - Penalizing Gradient Norm for Efficiently Improving Generalization in
Deep Learning [13.937644559223548]
ディープニューラルネットワーク(DNN)をうまく一般化するためのトレーニング方法が、ディープラーニングの中心的な関心事である。
最適化時の損失関数の勾配ノルムをペナルティ化することにより,モデル一般化を効果的に向上する手法を提案する。
論文 参考訳（メタデータ） (2022-02-08T02:03:45Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳（メタデータ） (2021-03-16T16:26:36Z) - Incremental Object Detection via Meta-Learning [77.55310507917012]
本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。
既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
論文 参考訳（メタデータ） (2020-03-17T13:40:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。