論文の概要: Sample Efficient Subspace-based Representations for Nonlinear Meta-Learning

• arxiv url: http://arxiv.org/abs/2102.07206v1
• Date: Sun, 14 Feb 2021 17:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 12:31:55.325158
• Title: Sample Efficient Subspace-based Representations for Nonlinear Meta-Learning
• Title（参考訳）: 非線形メタラーニングのためのサンプル効率な部分空間ベース表現
• Authors: Halil Ibrahim Gulluk, Yue Sun, Samet Oymak, Maryam Fazel
• Abstract要約: この研究は、バイナリ分類からニューラルネットワークまで、より一般的な非線形タスクのクラスを探求する。 サブスペースに基づく表現をサンプル効率のよい方法で学習できることを証明し、サンプル複雑性の観点から将来のタスクに有益であることを証明する。
• 参考スコア（独自算出の注目度）: 28.2312127482203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing good representations is critical for learning complex tasks in a sample efficient manner. In the context of meta-learning, representations can be constructed from common patterns of previously seen tasks so that a future task can be learned quickly. While recent works show the benefit of subspace-based representations, such results are limited to linear-regression tasks. This work explores a more general class of nonlinear tasks with applications ranging from binary classification, generalized linear models and neural nets. We prove that subspace-based representations can be learned in a sample-efficient manner and provably benefit future tasks in terms of sample complexity. Numerical results verify the theoretical predictions in classification and neural-network regression tasks.
• Abstract（参考訳）: 優れた表現を構築することは、複雑なタスクを効率的にサンプルで学習するために重要である。 メタラーニングの文脈では、前述したタスクの共通パターンから表現を構築することで、将来のタスクを素早く学習することができる。 最近の研究は部分空間に基づく表現の利点を示しているが、そのような結果は線形回帰タスクに限定されている。 本研究は,バイナリ分類,一般化線形モデル,ニューラルネットなどを含む,より一般的な非線形タスクのクラスを探索する。 サブスペースに基づく表現をサンプル効率のよい方法で学習できることを証明し、サンプル複雑性の観点から将来のタスクに有益であることを証明する。 数値結果は分類とニューラルネットワーク回帰タスクにおける理論的予測を検証する。

関連論文リスト

• Synergies Between Disentanglement and Sparsity: a Multi-Task Learning Perspective [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Trace norm regularization for multi-task learning with scarce data [20.085733305266572]
  この研究は、タスク毎のサンプル数が少ない場合に、トレースノルム正規化推定器にバウンドされた最初の推定誤差を提供する。 データスカースタスクの学習におけるトレースノルム正規化の利点はメタラーニングにまで拡張され、人工データセット上で経験的に確認される。
  論文  参考訳（メタデータ） (2022-02-14T14:18:31Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• A Representation Learning Perspective on the Importance of Train-Validation Splitting in Meta-Learning [14.720411598827365]
  各タスクからのデータを、メタトレーニング中にトレインとバリデーションセットに分割する。 列車価分割は,表現性を損なうことなく,学習した表現を低ランクにすることを促すと論じる。 サンプル効率は低ランク性から恩恵を受けるため、分割戦略は見当たらないテストタスクを解決するのに非常に少数のサンプルを必要とする。
  論文  参考訳（メタデータ） (2021-06-29T17:59:33Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Learning Purified Feature Representations from Task-irrelevant Labels [18.967445416679624]
  本稿では,タスク関連ラベルから抽出したタスク関連機能を利用したPurifiedLearningという新しい学習フレームワークを提案する。 本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。
  論文  参考訳（メタデータ） (2021-02-22T12:50:49Z)
• Latent Representation Prediction Networks [0.0]
  満足できない表現を学習するこの原則を見いだす。 本稿では,この表現を予測関数とともに学習する新しい方法を提案する。 提案手法は, 標準強化学習法よりもサンプリング効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-09-20T14:26:03Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。