論文の概要: Rethinking the Number of Shots in Robust Model-Agnostic Meta-Learning

• arxiv url: http://arxiv.org/abs/2211.15180v1
• Date: Mon, 28 Nov 2022 09:47:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 18:49:52.560463
• Title: Rethinking the Number of Shots in Robust Model-Agnostic Meta-Learning
• Title（参考訳）: ロバストモデル非依存メタラーニングにおけるショット数の再考
• Authors: Xiaoyue Duan, Guoliang Kang, Runqi Wang, Shumin Han, Song Xue, Tian Wang, Baochang Zhang
• Abstract要約: 本研究では,ロバストネスを動機とする正規化による内在的次元の損失を軽減するため,訓練ショットの数を増やすという簡単な戦略を提案する。 本手法はロバスト性を損なうことなくMAMLのクリーンな精度を著しく向上させ,ロバストで高精度なモデルを生成する。
• 参考スコア（独自算出の注目度）: 26.02974754702544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust Model-Agnostic Meta-Learning (MAML) is usually adopted to train a meta-model which may fast adapt to novel classes with only a few exemplars and meanwhile remain robust to adversarial attacks. The conventional solution for robust MAML is to introduce robustness-promoting regularization during meta-training stage. With such a regularization, previous robust MAML methods simply follow the typical MAML practice that the number of training shots should match with the number of test shots to achieve an optimal adaptation performance. However, although the robustness can be largely improved, previous methods sacrifice clean accuracy a lot. In this paper, we observe that introducing robustness-promoting regularization into MAML reduces the intrinsic dimension of clean sample features, which results in a lower capacity of clean representations. This may explain why the clean accuracy of previous robust MAML methods drops severely. Based on this observation, we propose a simple strategy, i.e., increasing the number of training shots, to mitigate the loss of intrinsic dimension caused by robustness-promoting regularization. Though simple, our method remarkably improves the clean accuracy of MAML without much loss of robustness, producing a robust yet accurate model. Extensive experiments demonstrate that our method outperforms prior arts in achieving a better trade-off between accuracy and robustness. Besides, we observe that our method is less sensitive to the number of fine-tuning steps during meta-training, which allows for a reduced number of fine-tuning steps to improve training efficiency.
• Abstract（参考訳）: モデルに依存しないロバストなメタラーニング(maml)は、通常、少数の例しか持たない新しいクラスに素早く適応するかもしれないメタモデルのトレーニングに採用され、一方で敵の攻撃に対して頑健である。 従来のロバストMAMLの解決策は、メタトレーニング段階におけるロバストネスプロモーティング正規化の導入である。 このような規則化により、従来の頑健なMAML手法は、トレーニングショットの数とテストショットの数とを一致させ、最適な適応性能を達成するための典型的なMAML手法に従う。 しかし、ロバスト性は大幅に改善されるが、従来の方法はクリーンな精度を犠牲にしている。 本稿では,MAMLにロバストネス・プロモーティング・正規化を導入することで,クリーンなサンプル特徴の固有次元が減少し,クリーンな表現能力が低下することを示す。 これは、従来の堅牢なMAMLメソッドのクリーンな精度が著しく低下する理由を説明できるかもしれない。 この観察に基づいて,ロバスト性向上正規化に起因する内在的次元の損失を軽減するため,訓練ショット数の増加という単純な戦略を提案する。 本手法は単純ではあるが,ロバスト性を損なうことなくMAMLのクリーンな精度を著しく向上させ,ロバストで高精度なモデルを生成する。 広範な実験により,本手法は精度とロバスト性とのトレードオフをよりよく達成する上で,先行技術よりも優れていることが示された。 また,本手法は,メタトレーニング中の微調整ステップ数に対する感度が低く,トレーニング効率を向上させるための微調整ステップ数が少なくなることも確認した。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Repurposing Pretrained Models for Robust Out-of-domain Few-Shot Learning [23.135033752967598]
  そこで本研究では,事前学習済みmamlチェックポイントを新たに提案する手法を提案する。 潜在的分布ミスマッチのため、元のMAMLステップはもはや最適ではないかもしれない。 本稿では,代替メタテスト手法を提案し,逆行訓練と不確実性に基づくステップ適応を組み合わせる。
  論文  参考訳（メタデータ） (2021-03-16T12:53:09Z)
• Robust MAML: Prioritization task buffer with adaptive learning process for model-agnostic meta-learning [15.894925018423665]
  モデル非依存メタラーニング(MAML)は、最先端のメタラーニングアルゴリズムである。 本稿では適応型学習方式と優先順位付けタスクバッファに基づくより堅牢なMAMLを提案する。 メタ強化学習環境の実験結果は、実質的なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2021-03-15T09:34:34Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Meta-Learning with Adaptive Hyperparameters [55.182841228303225]
  我々は、MAMLフレームワークの補完的要素、インナーループ最適化(あるいは高速適応)に焦点を当てる。 高速適応プロセスを大幅に向上させる新しい重み更新ルールを提案する。
  論文  参考訳（メタデータ） (2020-10-31T08:05:34Z)
• How Does the Task Landscape Affect MAML Performance? [42.27488241647739]
  モデル非依存メタラーニング(MAML)は非適応学習(NAL)よりも最適化が難しいことを示す。 簡単なタスクと難しいタスクの混合からなる線形回帰設定でこの問題を解析的に解決する。 また、これらの知見が2層ニューラルネットワークに適用可能であることを示唆する数値的および解析的な結果も提示する。
  論文  参考訳（メタデータ） (2020-10-27T23:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。