論文の概要: Metalearning with Very Few Samples Per Task
- arxiv url: http://arxiv.org/abs/2312.13978v1
- Date: Thu, 21 Dec 2023 16:06:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 14:20:54.957705
- Title: Metalearning with Very Few Samples Per Task
- Title（参考訳）: タスクあたりのサンプル数が極めて少ないメタラーニング
- Authors: Maryam Aliakbarpour and Konstantina Bairaktari and Gavin Brown and
Adam Smith and Jonathan Ullman
- Abstract要約: 本研究では,タスクが共有表現によって関連づけられた二項分類について考察する。
データ量は、見る必要のあるタスク数$t$と、タスク毎に$n$のサンプル数の両方で測定されます。
我々の主な結果は、特徴ベクトルが $mathbbRd から mathbbRk$ への分布自由な環境では、表現は $mathbbRd から mathbbRk$ への線型写像であることを示している。
- 参考スコア（独自算出の注目度）: 3.9582625092598316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Metalearning and multitask learning are two frameworks for solving a group of
related learning tasks more efficiently than we could hope to solve each of the
individual tasks on their own. In multitask learning, we are given a fixed set
of related learning tasks and need to output one accurate model per task,
whereas in metalearning we are given tasks that are drawn i.i.d. from a
metadistribution and need to output some common information that can be easily
specialized to new, previously unseen tasks from the metadistribution.
In this work, we consider a binary classification setting where tasks are
related by a shared representation, that is, every task $P$ of interest can be
solved by a classifier of the form $f_{P} \circ h$ where $h \in H$ is a map
from features to some representation space that is shared across tasks, and
$f_{P} \in F$ is a task-specific classifier from the representation space to
labels. The main question we ask in this work is how much data do we need to
metalearn a good representation? Here, the amount of data is measured in terms
of both the number of tasks $t$ that we need to see and the number of samples
$n$ per task. We focus on the regime where the number of samples per task is
extremely small. Our main result shows that, in a distribution-free setting
where the feature vectors are in $\mathbb{R}^d$, the representation is a linear
map from $\mathbb{R}^d \to \mathbb{R}^k$, and the task-specific classifiers are
halfspaces in $\mathbb{R}^k$, we can metalearn a representation with error
$\varepsilon$ using just $n = k+2$ samples per task, and $d \cdot
(1/\varepsilon)^{O(k)}$ tasks. Learning with so few samples per task is
remarkable because metalearning would be impossible with $k+1$ samples per
task, and because we cannot even hope to learn an accurate task-specific
classifier with just $k+2$ samples per task.
- Abstract（参考訳）: メタラーニングとマルチタスク学習は、個々のタスクをそれぞれ自分で解決したいと願うよりも、関連する学習タスクのグループを効率的に解決するための2つのフレームワークです。
マルチタスク学習では、関連する学習タスクの固定セットが与えられ、タスク毎の正確なモデル1つを出力する必要があるが、メタ学習ではメタディストリビューションから引き出されたタスクが与えられ、メタディストリビューションから未確認のタスクに容易に専門化できる共通情報を出力する必要がある。
本研究では、タスクが共有表現によって関連付けられるバイナリ分類設定、すなわち、すべてのタスク $p$ は、機能からタスク間で共有されるある表現空間へのマップで、$h \in h$ は、表現空間からラベルへのタスク固有の分類器である。
この作業で私たちが質問する主な質問は、よい表現を作るのにどのくらいのデータが必要かということです。
ここでは、データ量は、見なければならないタスク数$t$とタスク毎のサンプル数$n$の両方で測定されます。
私たちは、1つのタスクあたりのサンプル数が極めて少ないシステムに注目します。
我々の主な結果は、特徴ベクトルが$\mathbb{R}^d$ の分布自由な環境では、表現は $\mathbb{R}^d \to \mathbb{R}^k$ の線型写像であり、タスク固有の分類器は $\mathbb{R}^k$ のハーフスペースであり、単に $n = k+2$ のタスク毎のサンプルを使い、$d \cdot (1/\varepsilon)^{O(k)} のタスクで表現をメタアリングできることを示している。
なぜなら、1タスクにつき$k+1$のサンプルでメタラーニングは不可能であり、そして、1タスクにつき$k+2$のサンプルで正確なタスク固有の分類器を学習することさえ望めないからです。
関連論文リスト
- Scaling Distributed Multi-task Reinforcement Learning with Experience
Sharing [38.883540444516605]
DARPAはShELLプログラムを立ち上げた。これは、経験共有が分散生涯学習エージェントにどのように役立つかを探求することを目的としている。
分散マルチタスク強化学習(RL)の理論的および実証的研究を行い、N$エージェントのグループがM$タスクを協調的に解決する。
我々はDistMT-LSVIと呼ばれるアルゴリズムを提案し、各エージェントは独立に$epsilon$-optimal Policyを全ての$M$タスクに対して学習する。
論文 参考訳（メタデータ） (2023-07-11T22:58:53Z) - Active Representation Learning for General Task Space with Applications
in Robotics [44.36398212117328]
本稿では,テキスト対話型表現学習のためのアルゴリズムフレームワークを提案する。
この枠組みの下では、双線型および特徴ベースの非線形ケースから一般的な非線形ケースまで、いくつかのインスタンス化を提供する。
我々のアルゴリズムは平均で20%-70%のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-06-15T08:27:50Z) - Multi-Task Imitation Learning for Linear Dynamical Systems [50.124394757116605]
線形システム上での効率的な模倣学習のための表現学習について検討する。
学習対象ポリシーによって生成された軌道上の模倣ギャップは、$tildeOleft(frack n_xHN_mathrmshared + frack n_uN_mathrmtargetright)$で制限されている。
論文 参考訳（メタデータ） (2022-12-01T00:14:35Z) - On the Sample Complexity of Representation Learning in Multi-task
Bandits with Global and Local structure [77.60508571062958]
マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。
アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。
サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
論文 参考訳（メタデータ） (2022-11-28T08:40:12Z) - On the Power of Multitask Representation Learning in Linear MDP [61.58929164172968]
本稿では,線形マルコフ決定過程(MDP)におけるマルチタスク表現学習の統計的メリットについて分析する。
簡単な最小二乗アルゴリズムが $tildeO(H2sqrtfrackappa MathcalC(Phi)2 kappa dNT+frackappa dn) というポリシーを学ぶことを証明した。
論文 参考訳（メタデータ） (2021-06-15T11:21:06Z) - Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。
定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。
MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
論文 参考訳（メタデータ） (2021-05-18T06:46:48Z) - A No-Free-Lunch Theorem for MultiTask Learning [19.645741778058227]
すべてのタスク$P_t$が共通の最適分類器$h*,$を共有する、一見好都合な分類シナリオを考える。
このようなレジームは、$n$と$N$の両方のミニマックスレートを許容するが、適応アルゴリズムは存在しない。
論文 参考訳（メタデータ） (2020-06-29T03:03:29Z) - On the Theory of Transfer Learning: The Importance of Task Diversity [114.656572506859]
一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。
多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
論文 参考訳（メタデータ） (2020-06-20T20:33:59Z) - Few-Shot Learning via Learning the Representation, Provably [115.7367053639605]
本稿では,表現学習による少数ショット学習について検討する。
1つのタスクは、ターゲットタスクのサンプルの複雑さを減らすために、$T$ソースタスクと$n_1$データを使用して表現を学習する。
論文 参考訳（メタデータ） (2020-02-21T17:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。