論文の概要: Robust Meta-learning for Mixed Linear Regression with Small Batches
- arxiv url: http://arxiv.org/abs/2006.09702v2
- Date: Thu, 18 Jun 2020 18:46:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:34:22.026138
- Title: Robust Meta-learning for Mixed Linear Regression with Small Batches
- Title（参考訳）: 小バッチ付き混合線形回帰のためのロバストメタラーニング
- Authors: Weihao Kong, Raghav Somani, Sham Kakade, Sewoong Oh
- Abstract要約: 大量の小データタスクは、ビッグデータタスクの欠如を補うことができるか?
既存のアプローチでは、そのようなトレードオフは効率よく達成でき、それぞれ$Omega(k1/2)$の例を持つ中規模のタスクの助けを借りることができる。
両シナリオで同時に堅牢なスペクトルアプローチを導入する。
- 参考スコア（独自算出の注目度）: 34.94138630547603
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A common challenge faced in practical supervised learning, such as medical
image processing and robotic interactions, is that there are plenty of tasks
but each task cannot afford to collect enough labeled examples to be learned in
isolation. However, by exploiting the similarities across those tasks, one can
hope to overcome such data scarcity. Under a canonical scenario where each task
is drawn from a mixture of k linear regressions, we study a fundamental
question: can abundant small-data tasks compensate for the lack of big-data
tasks? Existing second moment based approaches show that such a trade-off is
efficiently achievable, with the help of medium-sized tasks with
$\Omega(k^{1/2})$ examples each. However, this algorithm is brittle in two
important scenarios. The predictions can be arbitrarily bad (i) even with only
a few outliers in the dataset; or (ii) even if the medium-sized tasks are
slightly smaller with $o(k^{1/2})$ examples each. We introduce a spectral
approach that is simultaneously robust under both scenarios. To this end, we
first design a novel outlier-robust principal component analysis algorithm that
achieves an optimal accuracy. This is followed by a sum-of-squares algorithm to
exploit the information from higher order moments. Together, this approach is
robust against outliers and achieves a graceful statistical trade-off; the lack
of $\Omega(k^{1/2})$-size tasks can be compensated for with smaller tasks,
which can now be as small as $O(\log k)$.
- Abstract（参考訳）: 医用画像処理やロボットインタラクションといった実践的な教師あり学習において直面する課題は、多くのタスクがあるが、それぞれのタスクは個別に学習できる十分なラベル付きサンプルを集めることができないことである。
しかし、これらのタスク間の類似性を利用することで、そのようなデータの不足を克服できると期待できる。
各タスクが k 個の線形回帰の混合から引き出される標準的なシナリオの下で、我々は基本的な問題を研究する: 大量の小データタスクは、ビッグデータタスクの欠如を補うことができるか?
既存の第2モーメントベースのアプローチは、これらのトレードオフが、それぞれ$\Omega(k^{1/2})$の例を持つ中規模のタスクの助けを借りて、効率的に達成可能であることを示している。
しかし、このアルゴリズムは2つの重要なシナリオにおいて脆弱である。
予測は任意に悪い可能性がある
(i)データセットにいくつかの外れ値がある場合でも、
(ii) たとえ中型のタスクが$o(k^{1/2})$の例でわずかに小さいとしても。
どちらのシナリオでも同時に頑健なスペクトルアプローチを導入する。
この目的のために,我々はまず,最適精度を実現する新奇な外乱主成分分析アルゴリズムを設計する。
これに続いて、高次モーメントからの情報を利用する2乗法アルゴリズムが導入された。
同様に、このアプローチは外れ値に対して堅牢であり、優雅な統計的トレードオフを達成する。$\Omega(k^{1/2})$-sizeタスクの欠如は、より小さなタスクで補うことができ、今では$O(\log k)$まで小さくすることができる。
関連論文リスト
- Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - On the Sample Complexity of Representation Learning in Multi-task
Bandits with Global and Local structure [77.60508571062958]
マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。
アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。
サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
論文 参考訳（メタデータ） (2022-11-28T08:40:12Z) - Meta Learning for High-dimensional Ising Model Selection Using
$\ell_1$-regularized Logistic Regression [28.776950569604026]
高次元イジングモデルに関連するグラフを推定するメタ学習問題を考察する。
我々のゴールは、新しいタスクの学習において補助的なタスクから学んだ情報を用いて、その十分なサンプルの複雑さを減らすことである。
論文 参考訳（メタデータ） (2022-08-19T20:28:39Z) - Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。
定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。
MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
論文 参考訳（メタデータ） (2021-05-18T06:46:48Z) - How to distribute data across tasks for meta-learning? [59.608652082495624]
タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。
この結果から,データ収集の簡便かつ効率的な手順が示唆された。
論文 参考訳（メタデータ） (2021-03-15T15:38:47Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-05-26T17:53:18Z) - Meta-learning for mixed linear regression [44.27602704497616]
現代の教師付き学習では、多数のタスクがあるが、それらの多くは少数のラベル付きデータにのみ関連付けられている。
小データの豊富なタスクは、ビッグデータのタスク不足を補うことができるだろうか?
我々は,$tildeOmega(k3/2)$ミディアムデータタスクと$tildeOmega(k1/2)$の例を使って,小さなデータタスクを効率的に利用できることを示す。
論文 参考訳（メタデータ） (2020-02-20T18:34:28Z) - Task-Robust Model-Agnostic Meta-Learning [42.27488241647739]
本稿では,AML(Model Agnostic Meta-Learning)の目標を改訂することで,「タスク・ロバストネス(task-robustness)」の概念を導入する。
この新しい定式化の解決策は、最も難しいタスクや稀なタスクにも等しく重要となるという意味で、タスクロバストである。
論文 参考訳（メタデータ） (2020-02-12T02:20:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。