論文の概要: Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis

• arxiv url: http://arxiv.org/abs/2109.14595v1
• Date: Wed, 29 Sep 2021 17:45:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 15:34:48.950344
• Title: Generalization Bounds For Meta-Learning: An Information-Theoretic Analysis
• Title（参考訳）: メタ学習のための一般化境界:情報理論解析
• Authors: Qi Chen, Changjian Shui, Mario Marchand
• Abstract要約: 本稿では,従来の学習から学習までのフレームワークと,モデルに依存しないメタ学習アルゴリズムの両方について,汎用的な理解を提案する。 我々は,MAMLの変種に対するデータ依存の一般化を提供する。
• 参考スコア（独自算出の注目度）: 8.028776552383365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We derive a novel information-theoretic analysis of the generalization property of meta-learning algorithms. Concretely, our analysis proposes a generic understanding of both the conventional learning-to-learn framework and the modern model-agnostic meta-learning (MAML) algorithms. Moreover, we provide a data-dependent generalization bound for a stochastic variant of MAML, which is non-vacuous for deep few-shot learning. As compared to previous bounds that depend on the square norm of gradients, empirical validations on both simulated data and a well-known few-shot benchmark show that our bound is orders of magnitude tighter in most situations.
• Abstract（参考訳）: メタラーニングアルゴリズムの一般化特性に関する新しい情報理論解析を導出する。 具体的には,従来の学習-学習フレームワークと,モデル非依存型メタ学習(maml)アルゴリズムの共通理解を提案する。 さらに,MAMLの確率的変種に対するデータ依存の一般化も提案する。 勾配の正方形ノルムに依存する以前の境界と比較して、シミュレーションデータとよく知られた数ショットベンチマークの両方の実証的検証は、我々の境界がほとんどの状況で桁違いにタイトであることを示している。

関連論文リスト

• Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
  コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。 本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。 既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
  論文  参考訳（メタデータ） (2023-02-09T20:42:36Z)
• On Leave-One-Out Conditional Mutual Information For Generalization [122.2734338600665]
  残余条件付き相互情報(loo-CMI)の新しい尺度に基づく教師付き学習アルゴリズムのための情報理論の一般化境界を導出する。 他のCMI境界とは対照的に、我々のloo-CMI境界は容易に計算でき、古典的なout-out-out-cross-validationのような他の概念と関連して解釈できる。 ディープラーニングのシナリオにおいて予測された一般化ギャップを評価することにより,境界の質を実証的に検証する。
  論文  参考訳（メタデータ） (2022-07-01T17:58:29Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Provable Multi-Objective Reinforcement Learning with Generative Models [98.19879408649848]
  目的の選好から最適な政策を学習する単一政策 MORL の問題について検討する。 既存の方法は、多目的決定プロセスの正確な知識のような強い仮定を必要とする。 モデルベースエンベロップ値 (EVI) と呼ばれる新しいアルゴリズムを提案し, 包含された多目的$Q$学習アルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2020-11-19T22:35:31Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• Semi-Supervised Learning with Meta-Gradient [123.26748223837802]
  半教師付き学習における簡単なメタ学習アルゴリズムを提案する。 その結果,提案アルゴリズムは最先端の手法に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2020-07-08T08:48:56Z)
• Information-theoretic limits of a multiview low-rank symmetric spiked matrix model [19.738567726658875]
  我々は、高次元推論問題の重要なクラス、すなわちスパイクされた対称行列モデルの一般化を考える。 シングルレター公式の証明を通じて情報理論の限界を厳格に確立する。 我々は最近導入された適応手法を改良し、低ランクモデルの研究に利用できるようにした。
  論文  参考訳（メタデータ） (2020-05-16T15:31:07Z)
• Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning [63.64636047748605]
  一般的なマルチステップMAMLアルゴリズムに対して収束保証を提供するための新しい理論フレームワークを開発する。 特に,本研究の結果は,収束を保証するためには,内部段階のステップを逆比例して$N$の内段ステップを選択する必要があることを示唆している。
  論文  参考訳（メタデータ） (2020-02-18T19:17:54Z)
• Reasoning About Generalization via Conditional Mutual Information [26.011933885798506]
  我々は、Mutual Information (CMI) を用いて、入力がどの程度の精度で認識できるかを定量化する。 CMIのバウンダリは,VC次元,圧縮スキーム,差分プライバシー,その他の手法から得られることを示す。 次に、有界な CMI は様々な種類の一般化を意味することを示す。
  論文  参考訳（メタデータ） (2020-01-24T18:13:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。