論文の概要: A Sample Complexity Separation between Non-Convex and Convex Meta-Learning

• arxiv url: http://arxiv.org/abs/2002.11172v1
• Date: Tue, 25 Feb 2020 20:55:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 21:19:36.312041
• Title: A Sample Complexity Separation between Non-Convex and Convex Meta-Learning
• Title（参考訳）: 非凸と凸メタラーニングのサンプル複雑性分離
• Authors: Nikunj Saunshi, Yi Zhang, Mikhail Khodak, Sanjeev Arora
• Abstract要約: メタラーニングの流行の1つは、サンプルが少ない新しいタスクを解くのに使える一般的な方法として、多くのタスクから学ぶことである。 本稿では,特に線形ネットワークのサブスペースにおいて,最適化ブラックボックスを理解することが重要であることを示す。 これらの手法の分析により、データを投影すべき部分空間をメタ学習できることが明らかになった。
• 参考スコア（独自算出の注目度）: 42.51788412283446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One popular trend in meta-learning is to learn from many training tasks a common initialization for a gradient-based method that can be used to solve a new task with few samples. The theory of meta-learning is still in its early stages, with several recent learning-theoretic analyses of methods such as Reptile [Nichol et al., 2018] being for convex models. This work shows that convex-case analysis might be insufficient to understand the success of meta-learning, and that even for non-convex models it is important to look inside the optimization black-box, specifically at properties of the optimization trajectory. We construct a simple meta-learning instance that captures the problem of one-dimensional subspace learning. For the convex formulation of linear regression on this instance, we show that the new task sample complexity of any initialization-based meta-learning algorithm is $\Omega(d)$, where $d$ is the input dimension. In contrast, for the non-convex formulation of a two layer linear network on the same instance, we show that both Reptile and multi-task representation learning can have new task sample complexity of $\mathcal{O}(1)$, demonstrating a separation from convex meta-learning. Crucially, analyses of the training dynamics of these methods reveal that they can meta-learn the correct subspace onto which the data should be projected.
• Abstract（参考訳）: メタラーニングの流行の1つは、多くのトレーニングタスクから学習することであり、サンプル数が少ない新しいタスクを解決できる勾配ベースのメソッドの共通初期化である。 メタラーニングの理論はまだ初期段階であり、Reptile (Nichol et al., 2018) のような手法の最近の学習理論分析は凸モデルのためのものである。 この研究は、凸ケース分析がメタラーニングの成功を理解するには不十分である可能性を示し、非凸モデルにおいても最適化ブラックボックスの内部、特に最適化軌道の特性を調べることが重要であることを示している。 1次元部分空間学習の問題を捉えた単純なメタラーニングインスタンスを構築した。 この例における線形回帰の凸定式化について、初期化に基づくメタ学習アルゴリズムの新しいタスクサンプルの複雑さは$\Omega(d)$であり、$d$は入力次元であることを示す。 対照的に、同じインスタンス上での2層線形ネットワークの非凸定式化では、Reptile と multi-task の表現学習の両方が新しいタスクサンプル複雑性を$\mathcal{O}(1)$とすることができ、凸メタラーニングからの分離を示す。 重要なこととして、これらの手法のトレーニングダイナミクスの分析は、データを投影すべき部分空間をメタ学習できることを示している。

関連論文リスト

• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Learning Tensor Representations for Meta-Learning [8.185750946886001]
  多様なタスクの集合からメタラーニングのための共有表現のテンソルモデルを導入する。 最初のステップから推定テンソルを置換することで、新しいタスクのごくわずかなサンプルでタスク固有のパラメータを推定できる。
  論文  参考訳（メタデータ） (2022-01-18T23:01:35Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Meta-Learning with Adjoint Methods [16.753336086160598]
  メタラーニング(MAML)は、タスクファミリーの優れた初期化を見つけるために広く使われている。 その成功にもかかわらず、MAMLにおける重要な課題は、サンプリングされたタスクに対する長いトレーニング軌跡の初期化で勾配を計算することである。 本稿では,この問題を解決するためにAdjoint MAML (A-MAML)を提案する。 人工メタ学習と実世界のメタ学習の両方において、我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2021-10-16T01:18:50Z)
• A Representation Learning Perspective on the Importance of Train-Validation Splitting in Meta-Learning [14.720411598827365]
  各タスクからのデータを、メタトレーニング中にトレインとバリデーションセットに分割する。 列車価分割は,表現性を損なうことなく,学習した表現を低ランクにすることを促すと論じる。 サンプル効率は低ランク性から恩恵を受けるため、分割戦略は見当たらないテストタスクを解決するのに非常に少数のサンプルを必要とする。
  論文  参考訳（メタデータ） (2021-06-29T17:59:33Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)
• Incremental Meta-Learning via Indirect Discriminant Alignment [118.61152684795178]
  メタ学習のメタ学習段階において,段階的な学習の概念を発達させる。 我々のアプローチは、完全なメタトレーニングセットでモデルをトレーニングするのと比べて、テスト時に好適に機能する。
  論文  参考訳（メタデータ） (2020-02-11T01:39:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。