論文の概要: Understanding Benign Overfitting in Nested Meta Learning
- arxiv url: http://arxiv.org/abs/2206.13482v1
- Date: Mon, 27 Jun 2022 17:46:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-28 15:53:14.703088
- Title: Understanding Benign Overfitting in Nested Meta Learning
- Title（参考訳）: 入れ子型メタ学習における良性過剰の理解
- Authors: Lisha Chen, Songtao Lu, Tianyi Chen
- Abstract要約: 私たちは、ネストされたメタ学習と呼ばれる難易度の高いネストされた構造を持つメタ学習設定に焦点を当てます。
我々の理論は、ネストしたメタ学習タスクにおけるデータの不均一性、モデル適応、良性過剰適合の微妙な相互作用の理解に寄与する。
- 参考スコア（独自算出の注目度）: 44.08080315581763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta learning has demonstrated tremendous success in few-shot learning with
limited supervised data. In those settings, the meta model is usually
overparameterized. While the conventional statistical learning theory suggests
that overparameterized models tend to overfit, empirical evidence reveals that
overparameterized meta learning methods still work well -- a phenomenon often
called ``benign overfitting.'' To understand this phenomenon, we focus on the
meta learning settings with a challenging nested structure that we term the
nested meta learning, and analyze its generalization performance under an
overparameterized meta learning model. While our analysis uses the relatively
tractable linear models, our theory contributes to understanding the delicate
interplay among data heterogeneity, model adaptation and benign overfitting in
nested meta learning tasks. We corroborate our theoretical claims through
numerical simulations.
- Abstract（参考訳）: メタ学習は、限られた教師付きデータによる数発の学習で大きな成功を収めた。
これらの設定では、通常、メタモデルは過度にパラメータ化されます。
従来の統計学習理論では、過度にパラメータ化されたモデルは過度に適合する傾向があるが、経験的な証拠は過度にパラメータ化されたメタ学習法がまだうまく機能していることを示している。
この現象を理解するために,我々は,ネスト型メタ学習という,ネスト型構造を持つメタ学習環境に着目し,その一般化性能を過パラメータ型メタ学習モデルで解析する。
解析は,比較的扱いやすい線形モデルを用いるが,本理論は,入れ子型メタ学習タスクにおけるデータ不均一性,モデル適応性,良性オーバーフィットの微妙な相互作用を理解するのに寄与する。
数値シミュレーションにより理論的主張を裏付ける。
関連論文リスト
- Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。
SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。
我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
論文 参考訳（メタデータ） (2022-10-11T06:45:15Z) - Provable Generalization of Overparameterized Meta-learning Trained with
SGD [62.892930625034374]
我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。
我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。
理論的知見は実験によってさらに検証される。
論文 参考訳（メタデータ） (2022-06-18T07:22:57Z) - Generalization Bounds For Meta-Learning: An Information-Theoretic
Analysis [8.028776552383365]
本稿では,従来の学習から学習までのフレームワークと,モデルに依存しないメタ学習アルゴリズムの両方について,汎用的な理解を提案する。
我々は,MAMLの変種に対するデータ依存の一般化を提供する。
論文 参考訳（メタデータ） (2021-09-29T17:45:54Z) - On Fast Adversarial Robustness Adaptation in Model-Agnostic
Meta-Learning [100.14809391594109]
モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。
メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。
本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-20T22:03:04Z) - Meta-Learning Requires Meta-Augmentation [13.16019567695033]
メタラーニングのオーバーフィッティングの2つの形態を記述し、それらが共通のベンチマークで実験的に現れることを示す。
次に,メタ拡張を議論するために情報理論の枠組みを用いる。これは,ベース学習者やモデルが自明な解を学習することを妨げるランダム性を追加する方法である。
メタ強化は,最近提案されたメタ正規化技術に対して大きな相補的利益をもたらすことを示す。
論文 参考訳（メタデータ） (2020-07-10T18:04:04Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。