論文の概要: Improving Generalization in Meta-Learning via Meta-Gradient Augmentation

• arxiv url: http://arxiv.org/abs/2306.08460v1
• Date: Wed, 14 Jun 2023 12:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 19:08:39.089381
• Title: Improving Generalization in Meta-Learning via Meta-Gradient Augmentation
• Title（参考訳）: meta-gradient augmentation によるメタラーニングの一般化
• Authors: Ren Wang, Haoliang Sun, Qi Wei, Xiushan Nie, Yuling Ma, Yilong Yin
• Abstract要約: メタ学習における過度な適合を軽減するために,データ非依存のtextbfMeta-textbfGradient textbfAugmentation (textbfMGAug) 法を提案する。 提案した MGAug は、PAC-Bayes フレームワークからの一般化によって理論的に保証される。
• 参考スコア（独自算出の注目度）: 42.48021701246389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning methods typically follow a two-loop framework, where each loop potentially suffers from notorious overfitting, hindering rapid adaptation and generalization to new tasks. Existing schemes solve it by enhancing the mutual-exclusivity or diversity of training samples, but these data manipulation strategies are data-dependent and insufficiently flexible. This work alleviates overfitting in meta-learning from the perspective of gradient regularization and proposes a data-independent \textbf{M}eta-\textbf{G}radient \textbf{Aug}mentation (\textbf{MGAug}) method. The key idea is to first break the rote memories by network pruning to address memorization overfitting in the inner loop, and then the gradients of pruned sub-networks naturally form the high-quality augmentation of the meta-gradient to alleviate learner overfitting in the outer loop. Specifically, we explore three pruning strategies, including \textit{random width pruning}, \textit{random parameter pruning}, and a newly proposed \textit{catfish pruning} that measures a Meta-Memorization Carrying Amount (MMCA) score for each parameter and prunes high-score ones to break rote memories as much as possible. The proposed MGAug is theoretically guaranteed by the generalization bound from the PAC-Bayes framework. In addition, we extend a lightweight version, called MGAug-MaxUp, as a trade-off between performance gains and resource overhead. Extensive experiments on multiple few-shot learning benchmarks validate MGAug's effectiveness and significant improvement over various meta-baselines. The code is publicly available at \url{https://github.com/xxLifeLover/Meta-Gradient-Augmentation}.
• Abstract（参考訳）: メタ学習の方法は一般的に2ループのフレームワークに従い、各ループは悪名高い過剰フィッティングに苦しむ可能性があり、新しいタスクへの迅速な適応と一般化を妨げる。 既存のスキームは、訓練サンプルの相互排他性や多様性を高めて解決するが、これらのデータ操作戦略はデータに依存しており、柔軟性が不十分である。 本研究は,勾配正規化の観点からのメタラーニングの過剰化を緩和し,データ非依存な \textbf{m}eta-\textbf{g}radient \textbf{aug}mentation (\textbf{mgaug}) 法を提案する。 鍵となるアイデアは、まずネットワークプルーニングによって、内側ループの記憶過剰に対処し、その後、プルーニングされたサブネットワークの勾配が自然に、外部ループの学習者オーバーフィッティングを緩和するメタグレードの高品質な強化を形成することである。 具体的には,各パラメータに対するメタ記憶保持量(mmca)を計測し,高スコアの記憶を極力破壊するために,新たに提案する \textit{catfish pruning}, \textit{random width pruning}, \textit{random parameter pruning},および新たに提案された \textit{catfish pruning} の3つのプルーニング戦略を検討した。 提案した MGAug は、PAC-Bayes フレームワークからの一般化によって理論的に保証される。 さらに、パフォーマンス向上とリソースオーバーヘッドのトレードオフとして、MGAug-MaxUpと呼ばれる軽量バージョンを拡張しました。 複数の数ショットの学習ベンチマークに対する大規模な実験は、MGAugの有効性と様々なメタベースラインに対する大幅な改善を検証する。 コードは \url{https://github.com/xxLifeLover/Meta-Gradient-Augmentation} で公開されている。

関連論文リスト

• SMATCH++: Standardized and Extended Evaluation of Semantic Graphs [4.987581730476023]
  Smatchメトリックはグラフ距離を評価する一般的な方法である。 構造的に逸脱するが有効なグラフを許容するアノテーションガイドラインに完全に準拠する方法を示す。 スコアリングの改善のために,細粒度部分グラフの意味の計算を標準化し,拡張する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-11T17:29:47Z)
• Self-supervised Meta-Prompt Learning with Meta-Gradient Regularization for Few-shot Generalization [40.45470744120691]
  MEta-gradient regularization for few-shot generalization (SUPMER)による自己改善メタプロンプト学習フレームワーク 本稿では,Meta-gradient regularization for few-shot generalization (SUPMER)を用いた自己改善メタプロンプト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T05:04:21Z)
• ReMix: A General and Efficient Framework for Multiple Instance Learning based Whole Slide Image Classification [14.78430890440035]
  ワイルスライド画像(WSI)分類は、ギガピクセル解像度画像とスライドレベルのラベルを扱うために弱教師付き多重インスタンス学習(MIL)法に依存することが多い。 MILに基づくWSI分類のための汎用的で効率的なフレームワークであるReMixを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:21:35Z)
• RU-Net: Regularized Unrolling Network for Scene Graph Generation [92.95032610978511]
  シーングラフ生成(SGG)は、オブジェクトを検出し、各オブジェクト間の関係を予測することを目的としている。 既存のSGG法は,(1)あいまいな対象表現,2)関係予測の多様性の低下など,いくつかの問題に悩まされることが多い。 両問題に対処する正規化アンローリングネットワーク(RU-Net)を提案する。
  論文  参考訳（メタデータ） (2022-05-03T04:21:15Z)
• Memory Regulation and Alignment toward Generalizer RGB-Infrared Person [26.46821443401331]
  RGB-IR ReIDは、常に差別的機能を必要としており、見受けられるクラスの過度な機能感度をもたらす。 本稿では,この問題を解決するために,新しい多粒性メモリ制御およびアライメントモジュール(MG-MRA)を提案する。 本手法は,授業の識別的特徴に関するモデルの過度な信頼を緩和する。
  論文  参考訳（メタデータ） (2021-09-18T05:55:06Z)
• Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
  我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。 本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
  論文  参考訳（メタデータ） (2021-04-30T16:19:07Z)
• ResLT: Residual Learning for Long-tailed Recognition [64.19728932445523]
  本稿では,パラメータ空間の側面から,より基本的なロングテール認識の視点を提案する。 すべてのクラスから画像を認識するために最適化されたメインブランチと、medium+tailクラスとtailクラスからのイメージを強化するために徐々に2つの残りのブランチを融合して最適化する。 我々は、CIFAR-10、CIFAR-100、Places、ImageNet、iNaturalist 2018の長期バージョンであるいくつかのベンチマークでこの方法をテストする。
  論文  参考訳（メタデータ） (2021-01-26T08:43:50Z)
• Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
  本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2020-07-26T01:50:42Z)
• 1st Place Solutions for OpenImage2019 -- Object Detection and Instance Segmentation [116.25081559037872]
  この記事では,2つのチャンピオンチーム,検出トラックのMMfruit'とセグメンテーショントラックのMMfruitSeg'のソリューションについて,OpenImage Challenge 2019で紹介する。 一般に、対象検出器の場合、バックボーンの端の共有特徴は分類と回帰の両方に適さないことが知られている。 自己学習型最適特徴抽出によりオブジェクトの分類と回帰を分離するデカップリングヘッド(DH)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T06:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。