論文の概要: Nonlinear Meta-Learning Can Guarantee Faster Rates

• arxiv url: http://arxiv.org/abs/2307.10870v2
• Date: Thu, 14 Dec 2023 23:30:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 19:24:08.872516
• Title: Nonlinear Meta-Learning Can Guarantee Faster Rates
• Title（参考訳）: 非線形メタラーニングは速い速度を保証できる
• Authors: Dimitri Meunier, Zhu Li, Arthur Gretton, Samory Kpotufe
• Abstract要約: 非線形表現を用いたメタラーニングの理論的保証を導出する。 特に、慎重に正規化することで、さらなるバイアスを緩和できることが示される。
• 参考スコア（独自算出の注目度）: 34.12311520501817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent theoretical works on \emph{meta-learning} aim to achieve guarantees in leveraging similar representational structures from related tasks towards simplifying a target task. Importantly, the main aim in theory works on the subject is to understand the extent to which convergence rates -- in learning a common representation -- \emph{may scale with the number $N$ of tasks} (as well as the number of samples per task). First steps in this setting demonstrate this property when both the shared representation amongst tasks, and task-specific regression functions, are linear. This linear setting readily reveals the benefits of aggregating tasks, e.g., via averaging arguments. In practice, however, the representation is often highly nonlinear, introducing nontrivial biases in each task that cannot easily be averaged out as in the linear case. In the present work, we derive theoretical guarantees for meta-learning with nonlinear representations. In particular, assuming the shared nonlinearity maps to an infinite-dimensional RKHS, we show that additional biases can be mitigated with careful regularization that leverages the smoothness of task-specific regression functions,
• Abstract（参考訳）: 近年のemph{meta-learning}に関する多くの理論的研究は、類似した表象構造を目的タスクから簡易化するための保証を達成することを目的としている。 重要なのは、理論の主要な目的は、共通表現の学習において、収束率が、タスク数(およびタスク当たりのサンプル数)とともに、\emph{may scale with the number $n$ of tasks} の程度を理解することである。 この設定の最初のステップは、タスク間の共有表現とタスク固有の回帰関数の両方が線形であるときにこの特性を示す。 この線形設定は、例えば平均的な引数を通じてタスクを集約する利点をすぐに明らかにする。 しかし実際には、表現はしばしば非常に非線形であり、線形の場合のように容易に評価できない各タスクに非自明なバイアスを導入する。 本研究では,非線形表現を用いたメタラーニングの理論的保証を導出する。 特に、共有非線形性写像を無限次元 RKHS に仮定すると、タスク固有回帰関数の滑らかさを利用する注意的な正則化により、さらなるバイアスを緩和できることが示される。

関連論文リスト

• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
  本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-10-20T17:58:30Z)
• Provable General Function Class Representation Learning in Multitask Bandits and MDPs [58.624124220900306]
  マルチタスク表現学習は、サンプル効率を高めるために強化学習において一般的なアプローチである。 本研究では,解析結果を一般関数クラス表現に拡張する。 バンディットと線形MDPの一般関数クラスにおけるマルチタスク表現学習の利点を理論的に検証する。
  論文  参考訳（メタデータ） (2022-05-31T11:36:42Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Conditional Meta-Learning of Linear Representations [57.90025697492041]
  表現学習のための標準メタラーニングは、複数のタスク間で共有される共通の表現を見つけることを目的とする。 本研究では,タスクの側情報を手作業に適した表現にマッピングし,条件付け関数を推定することで,この問題を克服する。 この利点を実用的に活用できるメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-30T12:02:14Z)
• Sample Efficient Subspace-based Representations for Nonlinear Meta-Learning [28.2312127482203]
  この研究は、バイナリ分類からニューラルネットワークまで、より一般的な非線形タスクのクラスを探求する。 サブスペースに基づく表現をサンプル効率のよい方法で学習できることを証明し、サンプル複雑性の観点から将来のタスクに有益であることを証明する。
  論文  参考訳（メタデータ） (2021-02-14T17:40:04Z)
• Learning an Interpretable Graph Structure in Multi-Task Learning [18.293397644865454]
  本稿では,タスク間のマルチタスク学習と本質的な関係を解釈可能かつスパースなグラフで推定する新しい手法を提案する。 このグラフは各タスクのモデルパラメータと同時に学習するため、特定の予測問題におけるタスク間の臨界関係を反映する。
  論文  参考訳（メタデータ） (2020-09-11T18:58:14Z)
• The Advantage of Conditional Meta-Learning for Biased Regularization and Fine-Tuning [50.21341246243422]
  バイアスレギュラー化と微調整は、最近の2つのメタラーニングアプローチである。 本稿では,条件付き関数マッピングタスクの側情報をメタパラメータベクトルに推論する条件付きメタラーニングを提案する。 次に、実際には同等の利点をもたらす凸メタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-25T07:32:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。