論文の概要: Towards Sample-efficient Overparameterized Meta-learning
- arxiv url: http://arxiv.org/abs/2201.06142v1
- Date: Sun, 16 Jan 2022 21:57:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-21 10:13:45.300016
- Title: Towards Sample-efficient Overparameterized Meta-learning
- Title（参考訳）: サンプル効率の過度パラメータ化メタラーニングに向けて
- Authors: Yue Sun and Adhyyan Narang and Halil Ibrahim Gulluk and Samet Oymak
and Maryam Fazel
- Abstract要約: 機械学習における包括的なゴールは、少数のサンプルで一般化可能なモデルを構築することである。
本稿ではメタラーニングにおけるパラメータ化の克服を目的とする。
最適表現の学習はタスク認識正規化を設計する問題と一致することを示す。
- 参考スコア（独自算出の注目度）: 37.676063120293044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An overarching goal in machine learning is to build a generalizable model
with few samples. To this end, overparameterization has been the subject of
immense interest to explain the generalization ability of deep nets even when
the size of the dataset is smaller than that of the model. While the prior
literature focuses on the classical supervised setting, this paper aims to
demystify overparameterization for meta-learning. Here we have a sequence of
linear-regression tasks and we ask: (1) Given earlier tasks, what is the
optimal linear representation of features for a new downstream task? and (2)
How many samples do we need to build this representation? This work shows that
surprisingly, overparameterization arises as a natural answer to these
fundamental meta-learning questions. Specifically, for (1), we first show that
learning the optimal representation coincides with the problem of designing a
task-aware regularization to promote inductive bias. We leverage this inductive
bias to explain how the downstream task actually benefits from
overparameterization, in contrast to prior works on few-shot learning. For (2),
we develop a theory to explain how feature covariance can implicitly help
reduce the sample complexity well below the degrees of freedom and lead to
small estimation error. We then integrate these findings to obtain an overall
performance guarantee for our meta-learning algorithm. Numerical experiments on
real and synthetic data verify our insights on overparameterized meta-learning.
- Abstract（参考訳）: 機械学習の全体的な目標は、サンプル数が少ない一般化されたモデルを構築することだ。
この目的のために、データセットのサイズがモデルのサイズよりも小さい場合でも、過剰パラメータ化はディープネットの一般化能力を説明するための大きな関心の対象となっている。
従来の文献では古典的な教師付き設定に焦点が当てられていたが,メタラーニングにおける過度パラメータ化のデミスト化が目的であった。
ここでは,リニアリグレッシブタスクのシーケンスを示し,(1)前回のタスクが与えられた場合,新しい下流タスクの特徴の最適線形表現とは何か?
そして、(2)この表現を構築するのにいくつのサンプルが必要か?
この研究は、これらの基本的なメタ学習問題に対する自然な答えとして、驚くほど過度なパラメータ化が生じることを示している。
具体的には,(1)における最適表現の学習は,帰納的バイアスを促進するタスク認識正規化の設計の問題と一致することを示す。
この帰納的バイアスを利用して,ダウンストリームタスクが過パラメータ化によって実際にどのようなメリットがあるのかを説明する。
そこで,(2)自由度以下では,特徴共分散が暗黙的にサンプル複雑性の低減に寄与し,推定誤差が小さいことを説明する理論を考案する。
そして、これらの知見を統合し、メタ学習アルゴリズムの全体的な性能保証を得る。
実データおよび合成データの数値実験は、過パラメータ化メタラーニングについての洞察を検証する。
関連論文リスト
- Transformers are Minimax Optimal Nonparametric In-Context Learners [36.291980654891496]
大規模言語モデルのコンテキスト内学習は、いくつかの実証的な例から新しいタスクを学ぶのに驚くほど効果的な方法であることが証明されている。
我々は,ディープニューラルネットワークと1つの線形アテンション層からなる変圧器の近似および一般化誤差境界を開発する。
十分に訓練されたトランスフォーマーは、文脈における最小推定リスクを達成し、改善できることを示す。
論文 参考訳（メタデータ） (2024-08-22T08:02:10Z) - Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - CorDA: Context-Oriented Decomposition Adaptation of Large Language Models for Task-Aware Parameter-Efficient Fine-tuning [101.81127587760831]
現在の微調整手法は、学習すべき下流タスクのコンテキストや、維持すべき重要な知識のコンテキストに広く適用できるアダプタを構築している。
学習可能なタスク対応アダプタを構築するコンテキスト指向の分解適応手法であるCorDAを提案する。
本手法は,知識保存型適応と指導レビュー型適応の2つの選択肢を実現する。
論文 参考訳（メタデータ） (2024-06-07T19:10:35Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳（メタデータ） (2023-02-28T22:14:33Z) - Generalization on the Unseen, Logic Reasoning and Degree Curriculum [25.7378861650474]
本稿では,論理的(ブール的)関数の学習について,未確認(GOTU)設定の一般化に着目して考察する。
我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。
具体的には、より高次基底要素に最小のフーリエ質量を持つトレーニングデータの補間子を意味する。
論文 参考訳（メタデータ） (2023-01-30T17:44:05Z) - From Canonical Correlation Analysis to Self-supervised Graph Neural
Networks [99.44881722969046]
本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。
古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。
提案手法は、7つの公開グラフデータセット上で競合的に動作する。
論文 参考訳（メタデータ） (2021-06-23T15:55:47Z) - Tailoring: encoding inductive biases by optimizing unsupervised
objectives at prediction time [34.03150701567508]
主目的関数に補助的損失を加えることは、ネットワークがより良い表現を学ぶのに役立つバイアスを符号化する一般的な方法である。
この研究では、テキスト変換学習からインスピレーションを得て、入力を受け取った後、教師なしの損失に対してネットワークを微調整することができることに注意する。
メタ学習に類似したネスト最適化であるメタ調整を定式化し、教師なしの損失を用いてタスク目標に順応した後、モデルに順応するように訓練する。
論文 参考訳（メタデータ） (2020-09-22T15:26:24Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。