論文の概要: A Representation Learning Perspective on the Importance of
Train-Validation Splitting in Meta-Learning
- arxiv url: http://arxiv.org/abs/2106.15615v1
- Date: Tue, 29 Jun 2021 17:59:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-30 15:42:37.850596
- Title: A Representation Learning Perspective on the Importance of
Train-Validation Splitting in Meta-Learning
- Title（参考訳）: メタラーニングにおける列車分割の重要性に関する表現学習の視点
- Authors: Nikunj Saunshi, Arushi Gupta, Wei Hu
- Abstract要約: 各タスクからのデータを、メタトレーニング中にトレインとバリデーションセットに分割する。
列車価分割は,表現性を損なうことなく,学習した表現を低ランクにすることを促すと論じる。
サンプル効率は低ランク性から恩恵を受けるため、分割戦略は見当たらないテストタスクを解決するのに非常に少数のサンプルを必要とする。
- 参考スコア（独自算出の注目度）: 14.720411598827365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An effective approach in meta-learning is to utilize multiple "train tasks"
to learn a good initialization for model parameters that can help solve unseen
"test tasks" with very few samples by fine-tuning from this initialization.
Although successful in practice, theoretical understanding of such methods is
limited. This work studies an important aspect of these methods: splitting the
data from each task into train (support) and validation (query) sets during
meta-training. Inspired by recent work (Raghu et al., 2020), we view such
meta-learning methods through the lens of representation learning and argue
that the train-validation split encourages the learned representation to be
low-rank without compromising on expressivity, as opposed to the non-splitting
variant that encourages high-rank representations. Since sample efficiency
benefits from low-rankness, the splitting strategy will require very few
samples to solve unseen test tasks. We present theoretical results that
formalize this idea for linear representation learning on a subspace
meta-learning instance, and experimentally verify this practical benefit of
splitting in simulations and on standard meta-learning benchmarks.
- Abstract（参考訳）: メタラーニングにおける効果的なアプローチは、複数の"トレーニングタスク"を使用してモデルパラメータの適切な初期化を学習し、この初期化から微調整することで、非常に少ないサンプルで"テストタスク"の未解決を解決するのに役立つ。
実際には成功したが、理論的な理解は限られている。
この研究は、これらの手法の重要な側面として、各タスクからトレーニング(サポート)と検証(クエリ)セットにデータを分割する。
最近の研究 (Raghu et al., 2020) に触発されて、表現学習のレンズを通してこのようなメタラーニング手法を考察し、高階表現を奨励する非分割変異とは対照的に、列車価分割は表現性を損なうことなく学習された表現を低ランクにすることを奨励すると主張している。
サンプル効率は低ランク性から得られるため、テストタスクの未解決を解決するために、分割戦略は非常に少ないサンプルを必要とする。
サブスペースメタラーニングインスタンスにおける線形表現学習のアイデアを定式化するための理論的結果を示し,シミュレーションと標準メタラーニングベンチマークの分割による実用的効果を実験的に検証する。
関連論文リスト
- Rethinking Meta-Learning from a Learning Lens [15.36934812747678]
我々は、メタラーニングの戦略を学ぶためのより基本的な学習に焦点を当て、環境を変えることなく、エラーの原因とこれらのエラーの除去方法を探る。
本稿では,メタラーニングの最適化プロセスの校正にタスク関係を用いることを提案し,その目的を達成するために,タスク関係学習者(TRLearner)と呼ばれるプラグアンドプレイ手法を提案する。
論文 参考訳（メタデータ） (2024-09-13T02:00:16Z) - First-order ANIL provably learns representations despite overparametrization [21.74339210788053]
本研究は,線形二層ネットワークアーキテクチャを用いた一階ANILが線形共有表現の学習に成功していることを示す。
共有表現の次元よりも広い幅を持つことは、アニマルな低ランク解をもたらす。
全体として、一階のANILのようなモデルに依存しない手法が、いかに共有表現を学習できるかを示す。
論文 参考訳（メタデータ） (2023-03-02T15:13:37Z) - The Effect of Diversity in Meta-Learning [79.56118674435844]
少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。
近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。
タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
論文 参考訳（メタデータ） (2022-01-27T19:39:07Z) - Conditional Meta-Learning of Linear Representations [57.90025697492041]
表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。
本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。
この利点を実用的に活用できるメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-30T12:02:14Z) - Lessons from Chasing Few-Shot Learning Benchmarks: Rethinking the
Evaluation of Meta-Learning Methods [9.821362920940631]
メタラーニングのための簡単なベースライン、FIX-MLを紹介します。
メタラーニングの2つの可能性を探る:(i)トレーニングセット(in-distriion)を生成する同じタスク分布に一般化する手法を開発する、(ii)新しい未確認タスク分布(out-of-distriion)に一般化する手法を開発する。
本研究は,この領域の進歩を推論するためには,メタラーニングの目標を明確に説明し,より適切な評価戦略を開発する必要があることを強調した。
論文 参考訳（メタデータ） (2021-02-23T05:34:30Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - How Important is the Train-Validation Split in Meta-Learning? [155.5088631672781]
メタラーニングにおける一般的な実践は、前者がデータの1つの分割に対してタスクに適応し、その結果の予測器が別の分割に対して評価される列車バリデーション分割(emphtrain-val method)を実行することである。
有病率にもかかわらず、列車の改札の重要性は理論上も実際上もよく理解されていない。
そこで本研究では,実際のメタ学習タスクとシミュレーションの両方において,トレイン・トレイン法がトレイン・ヴァル法より優れていることを示す。
論文 参考訳（メタデータ） (2020-10-12T16:48:42Z) - SML: Semantic Meta-learning for Few-shot Semantic Segmentation [27.773396307292497]
本稿では,提案するメタ学習フレームワークSemantic Meta-Learningを提案する。
さらに,クラスレベルのセマンティック情報を取り入れるだけでなく,トレーニングデータに含まれる複数の画像から得られる情報を,プロトタイプの計算に有効活用する手法であるリッジ回帰(ridge regression)を提案する。
論文 参考訳（メタデータ） (2020-09-14T18:26:46Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z) - Meta-Baseline: Exploring Simple Meta-Learning for Few-Shot Learning [79.25478727351604]
評価基準に基づいて,分類済みモデル全体に対するメタラーニング(メタラーニング)を提案する。
我々は,この単純な手法が標準ベンチマークにおける最先端手法との競合性能を達成するのを観察する。
論文 参考訳（メタデータ） (2020-03-09T20:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。