論文の概要: Towards Sample-efficient Overparameterized Meta-learning
- arxiv url: http://arxiv.org/abs/2201.06142v1
- Date: Sun, 16 Jan 2022 21:57:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-21 10:13:45.300016
- Title: Towards Sample-efficient Overparameterized Meta-learning
- Title(参考訳): サンプル効率の過度パラメータ化メタラーニングに向けて
- Authors: Yue Sun and Adhyyan Narang and Halil Ibrahim Gulluk and Samet Oymak
and Maryam Fazel
- Abstract要約: 機械学習における包括的なゴールは、少数のサンプルで一般化可能なモデルを構築することである。
本稿ではメタラーニングにおけるパラメータ化の克服を目的とする。
最適表現の学習はタスク認識正規化を設計する問題と一致することを示す。
- 参考スコア(独自算出の注目度): 37.676063120293044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An overarching goal in machine learning is to build a generalizable model
with few samples. To this end, overparameterization has been the subject of
immense interest to explain the generalization ability of deep nets even when
the size of the dataset is smaller than that of the model. While the prior
literature focuses on the classical supervised setting, this paper aims to
demystify overparameterization for meta-learning. Here we have a sequence of
linear-regression tasks and we ask: (1) Given earlier tasks, what is the
optimal linear representation of features for a new downstream task? and (2)
How many samples do we need to build this representation? This work shows that
surprisingly, overparameterization arises as a natural answer to these
fundamental meta-learning questions. Specifically, for (1), we first show that
learning the optimal representation coincides with the problem of designing a
task-aware regularization to promote inductive bias. We leverage this inductive
bias to explain how the downstream task actually benefits from
overparameterization, in contrast to prior works on few-shot learning. For (2),
we develop a theory to explain how feature covariance can implicitly help
reduce the sample complexity well below the degrees of freedom and lead to
small estimation error. We then integrate these findings to obtain an overall
performance guarantee for our meta-learning algorithm. Numerical experiments on
real and synthetic data verify our insights on overparameterized meta-learning.
- Abstract(参考訳): 機械学習の全体的な目標は、サンプル数が少ない一般化されたモデルを構築することだ。
この目的のために、データセットのサイズがモデルのサイズよりも小さい場合でも、過剰パラメータ化はディープネットの一般化能力を説明するための大きな関心の対象となっている。
従来の文献では古典的な教師付き設定に焦点が当てられていたが,メタラーニングにおける過度パラメータ化のデミスト化が目的であった。
ここでは,リニアリグレッシブタスクのシーケンスを示し,(1)前回のタスクが与えられた場合,新しい下流タスクの特徴の最適線形表現とは何か?
そして、(2)この表現を構築するのにいくつのサンプルが必要か?
この研究は、これらの基本的なメタ学習問題に対する自然な答えとして、驚くほど過度なパラメータ化が生じることを示している。
具体的には,(1)における最適表現の学習は,帰納的バイアスを促進するタスク認識正規化の設計の問題と一致することを示す。
この帰納的バイアスを利用して,ダウンストリームタスクが過パラメータ化によって実際にどのようなメリットがあるのかを説明する。
そこで,(2)自由度以下では,特徴共分散が暗黙的にサンプル複雑性の低減に寄与し,推定誤差が小さいことを説明する理論を考案する。
そして、これらの知見を統合し、メタ学習アルゴリズムの全体的な性能保証を得る。
実データおよび合成データの数値実験は、過パラメータ化メタラーニングについての洞察を検証する。
関連論文リスト
- Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳(メタデータ) (2023-04-09T20:36:13Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳(メタデータ) (2023-02-28T22:14:33Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳(メタデータ) (2022-10-24T15:14:26Z) - Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。
MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。
ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-10-20T17:58:30Z) - Learning Tensor Representations for Meta-Learning [8.185750946886001]
多様なタスクの集合からメタラーニングのための共有表現のテンソルモデルを導入する。
最初のステップから推定テンソルを置換することで、新しいタスクのごくわずかなサンプルでタスク固有のパラメータを推定できる。
論文 参考訳(メタデータ) (2022-01-18T23:01:35Z) - From Canonical Correlation Analysis to Self-supervised Graph Neural
Networks [99.44881722969046]
本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。
古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。
提案手法は、7つの公開グラフデータセット上で競合的に動作する。
論文 参考訳(メタデータ) (2021-06-23T15:55:47Z) - A Primal-Dual Subgradient Approachfor Fair Meta Learning [23.65344558042896]
ショットのメタ学習は、その高速適応能力と、未知のタスクへの精度の一般化で有名である。
そこで本研究では,ごく少数の例を用いて,公正な機械学習モデルのトレーニングを学習するPrimal-Dual Meta-learningフレームワーク,すなわちPDFMを提案する。
論文 参考訳(メタデータ) (2020-09-26T19:47:38Z) - Tailoring: encoding inductive biases by optimizing unsupervised
objectives at prediction time [34.03150701567508]
主目的関数に補助的損失を加えることは、ネットワークがより良い表現を学ぶのに役立つバイアスを符号化する一般的な方法である。
この研究では、テキスト変換学習からインスピレーションを得て、入力を受け取った後、教師なしの損失に対してネットワークを微調整することができることに注意する。
メタ学習に類似したネスト最適化であるメタ調整を定式化し、教師なしの損失を用いてタスク目標に順応した後、モデルに順応するように訓練する。
論文 参考訳(メタデータ) (2020-09-22T15:26:24Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。