論文の概要: TaskNorm: Rethinking Batch Normalization for Meta-Learning
- arxiv url: http://arxiv.org/abs/2003.03284v2
- Date: Sun, 28 Jun 2020 14:09:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 00:43:11.698257
- Title: TaskNorm: Rethinking Batch Normalization for Meta-Learning
- Title（参考訳）: TaskNorm: メタ学習のためのバッチ正規化の再考
- Authors: John Bronskill, Jonathan Gordon, James Requeima, Sebastian Nowozin,
Richard E. Turner
- Abstract要約: メタラーニングシナリオに対するバッチ正規化に対する様々なアプローチを評価し、TaskNormと呼ばれる新しいアプローチを開発します。
14のデータセットの実験により、バッチ正規化の選択は、分類精度とトレーニング時間の両方に劇的な影響を及ぼすことが示された。
メタ学習アルゴリズムを公平に比較するための,正規化のためのベストプラクティスのセットを提供する。
- 参考スコア（独自算出の注目度）: 43.01116858195183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern meta-learning approaches for image classification rely on increasingly
deep networks to achieve state-of-the-art performance, making batch
normalization an essential component of meta-learning pipelines. However, the
hierarchical nature of the meta-learning setting presents several challenges
that can render conventional batch normalization ineffective, giving rise to
the need to rethink normalization in this setting. We evaluate a range of
approaches to batch normalization for meta-learning scenarios, and develop a
novel approach that we call TaskNorm. Experiments on fourteen datasets
demonstrate that the choice of batch normalization has a dramatic effect on
both classification accuracy and training time for both gradient based and
gradient-free meta-learning approaches. Importantly, TaskNorm is found to
consistently improve performance. Finally, we provide a set of best practices
for normalization that will allow fair comparison of meta-learning algorithms.
- Abstract（参考訳）: 画像分類のための最近のメタラーニングアプローチは、最先端のパフォーマンスを達成するためにますます深いネットワークに依存しており、バッチ正規化がメタラーニングパイプラインの重要なコンポーネントとなっている。
しかし、メタラーニング環境の階層的な性質は、従来のバッチ正規化を非効率にし、この環境での正規化を再考する必要性を生じさせるいくつかの課題をもたらす。
メタラーニングシナリオに対するバッチ正規化に対する様々なアプローチを評価し、TaskNormと呼ばれる新しいアプローチを開発します。
14のデータセットの実験により、バッチ正規化の選択は、勾配ベースと勾配なしのメタラーニングアプローチの両方の分類精度とトレーニング時間の両方に劇的な効果があることが示された。
重要なのは、TaskNormが継続的にパフォーマンスを改善することだ。
最後に、メタ学習アルゴリズムの公正な比較を可能にする正規化のためのベストプラクティスのセットを提供する。
関連論文リスト
- Contrastive Knowledge-Augmented Meta-Learning for Few-Shot
Classification [28.38744876121834]
本稿では,知識向上のための新しいアプローチであるCAML(Contrastive Knowledge-Augmented Meta Learning)を紹介する。
そこで我々は,CAMLの性能を,様々な場面で評価した。
論文 参考訳（メタデータ） (2022-07-25T17:01:29Z) - Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。
タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。
実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2021-06-04T20:15:34Z) - Large-Scale Meta-Learning with Continual Trajectory Shifting [76.29017270864308]
メタリアナーがより多くの内部勾配ステップをとれるようにすることで、ヘテロジニアスタスクや大規模タスクの構造をよりよく把握できることを示す。
メタ更新の頻度を増やすために、タスク固有のパラメータの必要なシフトを推定することを提案する。
このアルゴリズムは, 一般化性能と収束性の両方において, 先行する一階メタ学習法を大きく上回っていることを示す。
論文 参考訳（メタデータ） (2021-02-14T18:36:33Z) - A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。
そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
論文 参考訳（メタデータ） (2020-09-26T19:47:38Z) - Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。
MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文 参考訳（メタデータ） (2020-07-26T01:50:42Z) - Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。
本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2020-04-13T10:47:02Z) - Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。
我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
論文 参考訳（メタデータ） (2020-02-11T01:39:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。