論文の概要: Meta-learning for mixed linear regression
- arxiv url: http://arxiv.org/abs/2002.08936v1
- Date: Thu, 20 Feb 2020 18:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 06:59:47.089506
- Title: Meta-learning for mixed linear regression
- Title（参考訳）: 混合線形回帰のためのメタラーニング
- Authors: Weihao Kong, Raghav Somani, Zhao Song, Sham Kakade, Sewoong Oh
- Abstract要約: 現代の教師付き学習では、多数のタスクがあるが、それらの多くは少数のラベル付きデータにのみ関連付けられている。
小データの豊富なタスクは、ビッグデータのタスク不足を補うことができるだろうか?
我々は,$tildeOmega(k3/2)$ミディアムデータタスクと$tildeOmega(k1/2)$の例を使って,小さなデータタスクを効率的に利用できることを示す。
- 参考スコア（独自算出の注目度）: 44.27602704497616
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In modern supervised learning, there are a large number of tasks, but many of
them are associated with only a small amount of labeled data. These include
data from medical image processing and robotic interaction. Even though each
individual task cannot be meaningfully trained in isolation, one seeks to
meta-learn across the tasks from past experiences by exploiting some
similarities. We study a fundamental question of interest: When can abundant
tasks with small data compensate for lack of tasks with big data? We focus on a
canonical scenario where each task is drawn from a mixture of $k$ linear
regressions, and identify sufficient conditions for such a graceful exchange to
hold; The total number of examples necessary with only small data tasks scales
similarly as when big data tasks are available. To this end, we introduce a
novel spectral approach and show that we can efficiently utilize small data
tasks with the help of $\tilde\Omega(k^{3/2})$ medium data tasks each with
$\tilde\Omega(k^{1/2})$ examples.
- Abstract（参考訳）: 現代の教師付き学習では、多くのタスクがありますが、その多くはごく少量のラベル付きデータに関連付けられています。
これには医療画像処理とロボットのインタラクションのデータが含まれる。
個々のタスクは独立して有意義に訓練することはできないが、いくつかの類似点を利用して過去の経験からタスクをメタ学習しようとする。
ビッグデータを用いたタスクの欠如に対して,少人数のタスクがいつ補うことができるのか?
私たちは、各タスクが$k$線形回帰の混合物から引き出される標準的なシナリオに注目し、このような優雅な交換のために十分な条件を特定します。
そこで,本研究では,$\tilde\Omega(k^{3/2})$メディアデータタスクと$\tilde\Omega(k^{1/2})$例を併用して,小型データタスクを効率的に活用できることを示す。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Exploring intra-task relations to improve meta-learning algorithms [1.223779595809275]
我々は,タスクの効果的なミニバッチによるトレーニング安定性向上のために,タスク関係の外部知識を活用することを目的としている。
ミニバッチでタスクの多様なセットを選択すると、完全な勾配がより良く見積もられるため、トレーニングにおけるノイズの低減につながる、という仮説を立てる。
論文 参考訳（メタデータ） (2023-12-27T15:33:52Z) - Behavior Retrieval: Few-Shot Imitation Learning by Querying Unlabeled
Datasets [73.2096288987301]
オフラインでラベル付けされていないデータセットから、少量のダウンストリーム専門家データを用いて、関連する振る舞いを選択的にクエリする簡単なアプローチを提案する。
提案手法では,タスクへの関連する遷移のみを問合せし,サブ最適データやタスク非関連データをフィルタリングする。
我々の単純なクエリ手法は、画像からシミュレーションされた実際のロボット操作タスクに対して、より複雑な目標条件の手法よりも20%優れています。
論文 参考訳（メタデータ） (2023-04-18T05:42:53Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - Instance-Level Task Parameters: A Robust Multi-task Weighting Framework [17.639472693362926]
最近の研究によると、ディープニューラルネットワークは、複数の関連するタスク間で共有表現を学習することで、マルチタスク学習の恩恵を受けている。
トレーニングプロセスは、データセットの各インスタンスに対するタスクの最適な重み付けを規定します。
我々は,SURREALとCityScapesのデータセットを用いて,人間の形状とポーズ推定,深さ推定,セマンティックセグメンテーションタスクについて広範な実験を行った。
論文 参考訳（メタデータ） (2021-06-11T02:35:42Z) - Sample Efficient Linear Meta-Learning by Alternating Minimization [74.40553081646995]
低次元部分空間と回帰器を交互に学習する簡易交互最小化法(MLLAM)について検討する。
定数部分空間次元に対して、MLLAMはタスクあたり$Omega(log d)$サンプルしか必要とせず、ほぼ最適推定誤差が得られることを示す。
MLLAMと同様の強力な統計的保証を保証する新しいタスクサブセット選択スキームを提案する。
論文 参考訳（メタデータ） (2021-05-18T06:46:48Z) - How to distribute data across tasks for meta-learning? [59.608652082495624]
タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。
この結果から,データ収集の簡便かつ効率的な手順が示唆された。
論文 参考訳（メタデータ） (2021-03-15T15:38:47Z) - Robust Meta-learning for Mixed Linear Regression with Small Batches [34.94138630547603]
大量の小データタスクは、ビッグデータタスクの欠如を補うことができるか?
既存のアプローチでは、そのようなトレードオフは効率よく達成でき、それぞれ$Omega(k1/2)$の例を持つ中規模のタスクの助けを借りることができる。
両シナリオで同時に堅牢なスペクトルアプローチを導入する。
論文 参考訳（メタデータ） (2020-06-17T07:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。