論文の概要: Provable Generalization of Overparameterized Meta-learning Trained with SGD

• arxiv url: http://arxiv.org/abs/2206.09136v1
• Date: Sat, 18 Jun 2022 07:22:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 20:00:11.384954
• Title: Provable Generalization of Overparameterized Meta-learning Trained with SGD
• Title（参考訳）: SGDによる過度パラメータ化メタラーニングの確率的一般化
• Authors: Yu Huang and Yingbin Liang and Longbo Huang
• Abstract要約: 我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
• 参考スコア（独自算出の注目度）: 62.892930625034374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the superior empirical success of deep meta-learning, theoretical understanding of overparameterized meta-learning is still limited. This paper studies the generalization of a widely used meta-learning approach, Model-Agnostic Meta-Learning (MAML), which aims to find a good initialization for fast adaptation to new tasks. Under a mixed linear regression model, we analyze the generalization properties of MAML trained with SGD in the overparameterized regime. We provide both upper and lower bounds for the excess risk of MAML, which captures how SGD dynamics affect these generalization bounds. With such sharp characterizations, we further explore how various learning parameters impact the generalization capability of overparameterized MAML, including explicitly identifying typical data and task distributions that can achieve diminishing generalization error with overparameterization, and characterizing the impact of adaptation learning rate on both excess risk and the early stopping time. Our theoretical findings are further validated by experiments.
• Abstract（参考訳）: 深層メタラーニングの優れた経験的成功にもかかわらず、過パラメータ化メタラーニングの理論的理解はまだ限られている。 本稿では,新しいタスクへの迅速な適応のための適切な初期化を見出すことを目的として,広く用いられているメタラーニング手法であるモデル非依存メタラーニング(maml)の一般化について検討する。 混合線形回帰モデルにより、SGDで訓練されたMAMLの過パラメータ化状態における一般化特性を解析する。 mamlの過剰なリスクに対して上界と下界の両方を提供し、sgdダイナミクスがこれらの一般化境界にどのように影響するかを捉えている。 過パラメータ化による一般化誤差の低減を実現する典型的なデータやタスク分布を明確に同定し、過パラメータ化リスクと早期停止時間の両方に適応学習率が及ぼす影響を特徴付けることを含む、様々な学習パラメータが過パラメータ化MAMLの一般化能力にどのように影響するかをさらに検討する。 理論的知見は実験によってさらに検証される。

関連論文リスト

• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• A Generalized Weighted Optimization Method for Computational Learning and Inversion [15.535124460414588]
  雑音データを用いた計算学習と逆変換のための一般化された重み付き最小二乗最適化法を解析する。 学習手法の一般化誤差に対する重み付け方式の影響を特徴付ける。 先行知識からの適切な重み付けが学習モデルの一般化能力を向上させることを実証する。
  論文  参考訳（メタデータ） (2022-01-23T10:35:34Z)
• Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis [8.028776552383365]
  本稿では,従来の学習から学習までのフレームワークと,モデルに依存しないメタ学習アルゴリズムの両方について,汎用的な理解を提案する。 我々は,MAMLの変種に対するデータ依存の一般化を提供する。
  論文  参考訳（メタデータ） (2021-09-29T17:45:54Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• B-SMALL: A Bayesian Neural Network approach to Sparse Model-Agnostic Meta-Learning [2.9189409618561966]
  本稿では,b-smallアルゴリズムと呼ぶベイズ型ニューラルネットワークに基づくmamlアルゴリズムを提案する。 分類タスクと回帰タスクを用いたB-MAMLのパフォーマンスを実証し、MDLを用いたスパーシファイングBNNのトレーニングがモデルのパラメータフットプリントを実際に改善することを強調した。
  論文  参考訳（メタデータ） (2021-01-01T09:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。