論文の概要: Sample Efficient Linear Meta-Learning by Alternating Minimization

• arxiv url: http://arxiv.org/abs/2105.08306v1
• Date: Tue, 18 May 2021 06:46:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 14:18:14.367092
• Title: Sample Efficient Linear Meta-Learning by Alternating Minimization
• Title（参考訳）: 交代最小化による線形メタラーニング
• Authors: Kiran Koshy Thekumparampil, Prateek Jain, Praneeth Netrapalli, Sewoong Oh
• Abstract要約: 低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。 定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。 MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
• 参考スコア（独自算出の注目度）: 74.40553081646995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-learning synthesizes and leverages the knowledge from a given set of tasks to rapidly learn new tasks using very little data. Meta-learning of linear regression tasks, where the regressors lie in a low-dimensional subspace, is an extensively-studied fundamental problem in this domain. However, existing results either guarantee highly suboptimal estimation errors, or require $\Omega(d)$ samples per task (where $d$ is the data dimensionality) thus providing little gain over separately learning each task. In this work, we study a simple alternating minimization method (MLLAM), which alternately learns the low-dimensional subspace and the regressors. We show that, for a constant subspace dimension MLLAM obtains nearly-optimal estimation error, despite requiring only $\Omega(\log d)$ samples per task. However, the number of samples required per task grows logarithmically with the number of tasks. To remedy this in the low-noise regime, we propose a novel task subset selection scheme that ensures the same strong statistical guarantee as MLLAM, even with bounded number of samples per task for arbitrarily large number of tasks.
• Abstract（参考訳）: メタラーニングは、与えられたタスクセットから知識を合成して利用し、非常に小さなデータを使って新しいタスクを迅速に学習する。 低次元部分空間にある線形回帰タスクのメタラーニングは、この領域で広く研究されている基本的な問題である。 しかし、既存の結果は、非常に最適な推定誤差を保証するか、タスク毎に$\Omega(d)$サンプルを必要とする($d$はデータ次元である)。 本研究では,低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。 定数部分空間次元 mllam は、タスクごとに$\omega(\log d)$ のサンプルしか必要とせず、ほぼ最適な推定誤差が得られる。 しかし、タスク毎に必要なサンプル数はタスク数で対数的に増加する。 低雑音環境下でのこの対策として,タスク毎のサンプル数が任意に多数存在する場合でも,MLLAMと同じ強い統計的保証を保証するタスクサブセット選択方式を提案する。

関連論文リスト

• Meta Learning for High-dimensional Ising Model Selection Using $\ell_1$-regularized Logistic Regression [28.776950569604026]
  高次元イジングモデルに関連するグラフを推定するメタ学習問題を考察する。 我々のゴールは、新しいタスクの学習において補助的なタスクから学んだ情報を用いて、その十分なサンプルの複雑さを減らすことである。
  論文  参考訳（メタデータ） (2022-08-19T20:28:39Z)
• New Tight Relaxations of Rank Minimization for Multi-Task Learning [161.23314844751556]
  2つの正規化項に基づく2つの新しいマルチタスク学習定式化を提案する。 本手法は,タスク間で共有される低ランク構造を正確に復元し,関連するマルチタスク学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-12-09T07:29:57Z)
• Instance-Level Task Parameters: A Robust Multi-task Weighting Framework [17.639472693362926]
  最近の研究によると、ディープニューラルネットワークは、複数の関連するタスク間で共有表現を学習することで、マルチタスク学習の恩恵を受けている。 トレーニングプロセスは、データセットの各インスタンスに対するタスクの最適な重み付けを規定します。 我々は,SURREALとCityScapesのデータセットを用いて,人間の形状とポーズ推定,深さ推定,セマンティックセグメンテーションタスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2021-06-11T02:35:42Z)
• Memory-Based Optimization Methods for Model-Agnostic Meta-Learning and Personalized Federated Learning [56.17603785248675]
  モデルに依存しないメタラーニング (MAML) が人気のある研究分野となっている。 既存のMAMLアルゴリズムは、イテレーション毎にメタモデルを更新するためにいくつかのタスクとデータポイントをサンプリングすることで、エピソードのアイデアに依存している。 本稿では,MAMLのメモリベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-09T08:47:58Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)
• A Provably Efficient Sample Collection Strategy for Reinforcement Learning [123.69175280309226]
  オンライン強化学習(RL)における課題の1つは、エージェントがその振る舞いを最適化するために、環境の探索とサンプルの活用をトレードオフする必要があることである。 1) 生成モデル(環境のスパースシミュレータなど)にアクセス可能な状態のサンプル数を規定する「対象別」アルゴリズム,2) 所定のサンプルをできるだけ早く生成する「対象別」サンプル収集。
  論文  参考訳（メタデータ） (2020-07-13T15:17:35Z)
• Robust Meta-learning for Mixed Linear Regression with Small Batches [34.94138630547603]
  大量の小データタスクは、ビッグデータタスクの欠如を補うことができるか? 既存のアプローチでは、そのようなトレードオフは効率よく達成でき、それぞれ$Omega(k1/2)$の例を持つ中規模のタスクの助けを借りることができる。 両シナリオで同時に堅牢なスペクトルアプローチを導入する。
  論文  参考訳（メタデータ） (2020-06-17T07:59:05Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)
• Meta-learning for mixed linear regression [44.27602704497616]
  現代の教師付き学習では、多数のタスクがあるが、それらの多くは少数のラベル付きデータにのみ関連付けられている。 小データの豊富なタスクは、ビッグデータのタスク不足を補うことができるだろうか? 我々は,$tildeOmega(k3/2)$ミディアムデータタスクと$tildeOmega(k1/2)$の例を使って,小さなデータタスクを効率的に利用できることを示す。
  論文  参考訳（メタデータ） (2020-02-20T18:34:28Z)
• Task-Robust Model-Agnostic Meta-Learning [42.27488241647739]
  本稿では,AML(Model Agnostic Meta-Learning)の目標を改訂することで,「タスク・ロバストネス(task-robustness)」の概念を導入する。 この新しい定式化の解決策は、最も難しいタスクや稀なタスクにも等しく重要となるという意味で、タスクロバストである。
  論文  参考訳（メタデータ） (2020-02-12T02:20:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。