論文の概要: Sample Efficient Subspace-based Representations for Nonlinear Meta-Learning

• arxiv url: http://arxiv.org/abs/2102.07206v1
• Date: Sun, 14 Feb 2021 17:40:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 12:31:55.325158
• Title: Sample Efficient Subspace-based Representations for Nonlinear Meta-Learning
• Title（参考訳）: 非線形メタラーニングのためのサンプル効率な部分空間ベース表現
• Authors: Halil Ibrahim Gulluk, Yue Sun, Samet Oymak, Maryam Fazel
• Abstract要約: この研究は、バイナリ分類からニューラルネットワークまで、より一般的な非線形タスクのクラスを探求する。 サブスペースに基づく表現をサンプル効率のよい方法で学習できることを証明し、サンプル複雑性の観点から将来のタスクに有益であることを証明する。
• 参考スコア（独自算出の注目度）: 28.2312127482203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Constructing good representations is critical for learning complex tasks in a sample efficient manner. In the context of meta-learning, representations can be constructed from common patterns of previously seen tasks so that a future task can be learned quickly. While recent works show the benefit of subspace-based representations, such results are limited to linear-regression tasks. This work explores a more general class of nonlinear tasks with applications ranging from binary classification, generalized linear models and neural nets. We prove that subspace-based representations can be learned in a sample-efficient manner and provably benefit future tasks in terms of sample complexity. Numerical results verify the theoretical predictions in classification and neural-network regression tasks.
• Abstract（参考訳）: 優れた表現を構築することは、複雑なタスクを効率的にサンプルで学習するために重要である。 メタラーニングの文脈では、前述したタスクの共通パターンから表現を構築することで、将来のタスクを素早く学習することができる。 最近の研究は部分空間に基づく表現の利点を示しているが、そのような結果は線形回帰タスクに限定されている。 本研究は,バイナリ分類,一般化線形モデル,ニューラルネットなどを含む,より一般的な非線形タスクのクラスを探索する。 サブスペースに基づく表現をサンプル効率のよい方法で学習できることを証明し、サンプル複雑性の観点から将来のタスクに有益であることを証明する。 数値結果は分類とニューラルネットワーク回帰タスクにおける理論的予測を検証する。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• A Quantitative Approach to Predicting Representational Learning and Performance in Neural Networks [5.544128024203989]
  ニューラルネットワークの主な特性は、タスクを解決するために入力情報の表現と操作を学ぶ方法である。 本稿では,学習した表現を分析し,予測するための擬似カーネルツールを提案する。
  論文  参考訳（メタデータ） (2023-07-14T18:39:04Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Trace norm regularization for multi-task learning with scarce data [20.085733305266572]
  この研究は、タスク毎のサンプル数が少ない場合に、トレースノルム正規化推定器にバウンドされた最初の推定誤差を提供する。 データスカースタスクの学習におけるトレースノルム正規化の利点はメタラーニングにまで拡張され、人工データセット上で経験的に確認される。
  論文  参考訳（メタデータ） (2022-02-14T14:18:31Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Learning Purified Feature Representations from Task-irrelevant Labels [18.967445416679624]
  本稿では,タスク関連ラベルから抽出したタスク関連機能を利用したPurifiedLearningという新しい学習フレームワークを提案する。 本研究は,PurifiedLearningの有効性を実証する,ソリッド理論解析と広範囲な実験に基づいている。
  論文  参考訳（メタデータ） (2021-02-22T12:50:49Z)
• Latent Representation Prediction Networks [0.0]
  満足できない表現を学習するこの原則を見いだす。 本稿では,この表現を予測関数とともに学習する新しい方法を提案する。 提案手法は, 標準強化学習法よりもサンプリング効率がよいことを示す。
  論文  参考訳（メタデータ） (2020-09-20T14:26:03Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。