論文の概要: On the Theory of Transfer Learning: The Importance of Task Diversity
- arxiv url: http://arxiv.org/abs/2006.11650v2
- Date: Thu, 22 Oct 2020 17:19:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 22:21:33.696048
- Title: On the Theory of Transfer Learning: The Importance of Task Diversity
- Title（参考訳）: 転校学習の理論について--課題多様性の重要性
- Authors: Nilesh Tripuraneni, Michael I. Jordan, Chi Jin
- Abstract要約: 一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。
多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
- 参考スコア（独自算出の注目度）: 114.656572506859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We provide new statistical guarantees for transfer learning via
representation learning--when transfer is achieved by learning a feature
representation shared across different tasks. This enables learning on new
tasks using far less data than is required to learn them in isolation.
Formally, we consider $t+1$ tasks parameterized by functions of the form $f_j
\circ h$ in a general function class $\mathcal{F} \circ \mathcal{H}$, where
each $f_j$ is a task-specific function in $\mathcal{F}$ and $h$ is the shared
representation in $\mathcal{H}$. Letting $C(\cdot)$ denote the complexity
measure of the function class, we show that for diverse training tasks (1) the
sample complexity needed to learn the shared representation across the first
$t$ training tasks scales as $C(\mathcal{H}) + t C(\mathcal{F})$, despite no
explicit access to a signal from the feature representation and (2) with an
accurate estimate of the representation, the sample complexity needed to learn
a new task scales only with $C(\mathcal{F})$. Our results depend upon a new
general notion of task diversity--applicable to models with general tasks,
features, and losses--as well as a novel chain rule for Gaussian complexities.
Finally, we exhibit the utility of our general framework in several models of
importance in the literature.
- Abstract（参考訳）: 本研究では,異なるタスク間で共有される特徴表現を学習することで,表現学習による伝達学習の統計的保証を実現する。
これにより、個別に学習するよりもはるかに少ないデータで新しいタスクを学ぶことができる。
形式的には、$t+1$タスクは、一般的な関数クラス$\mathcal{F} \circ \mathcal{H}$で、$f_j$は$\mathcal{F}$で、$h$は$\mathcal{H}$で共有表現である。
c(\cdot)$ を関数クラスの複雑性測度とすると、(1) 様々なトレーニングタスクに対して、最初の $t$ トレーニングタスクで共有表現を学ぶために必要なサンプル複雑性は、機能表現からの信号への明示的なアクセスがないにもかかわらず、$c(\mathcal{h}) + t c(\mathcal{f})$ となる。
以上の結果は,一般のタスクや特徴,損失モデルに適用可能なタスクの多様性という新しい概念と,ガウス複素数に対する新しい連鎖則に依存する。
最後に,文献に重要ないくつかのモデルを用いて,汎用フレームワークの有用性を示す。
関連論文リスト
- Metalearning with Very Few Samples Per Task [19.78398372660794]
タスクが共有表現によって関連づけられるバイナリ分類について検討する。
ここでは、データ量は、見る必要のあるタスク数$t$と、タスク当たりのサンプル数$n$で測定されます。
我々の研究は、分布のないマルチタスク学習の特性とメタとマルチタスク学習の削減をもたらす。
論文 参考訳（メタデータ） (2023-12-21T16:06:44Z) - Active Representation Learning for General Task Space with Applications
in Robotics [44.36398212117328]
本稿では,テキスト対話型表現学習のためのアルゴリズムフレームワークを提案する。
この枠組みの下では、双線型および特徴ベースの非線形ケースから一般的な非線形ケースまで、いくつかのインスタンス化を提供する。
我々のアルゴリズムは平均で20%-70%のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-06-15T08:27:50Z) - Multi-Task Imitation Learning for Linear Dynamical Systems [50.124394757116605]
線形システム上での効率的な模倣学習のための表現学習について検討する。
学習対象ポリシーによって生成された軌道上の模倣ギャップは、$tildeOleft(frack n_xHN_mathrmshared + frack n_uN_mathrmtargetright)$で制限されている。
論文 参考訳（メタデータ） (2022-12-01T00:14:35Z) - On the Sample Complexity of Representation Learning in Multi-task
Bandits with Global and Local structure [77.60508571062958]
マルチタスク・バンディット問題に対する最適アーム学習の複雑さについて検討した。
アームは2つのコンポーネントで構成されます。1つはタスク間で共有され(表現と呼ばれます)、もう1つはタスク固有のもの(予測器と呼ばれます)です。
サンプルの複雑さが下界に近づき、最大で$H(Glog(delta_G)+ Xlog(delta_H))$でスケールするアルゴリズムOSRL-SCを考案する。
論文 参考訳（メタデータ） (2022-11-28T08:40:12Z) - Meta Learning for High-dimensional Ising Model Selection Using
$\ell_1$-regularized Logistic Regression [28.776950569604026]
高次元イジングモデルに関連するグラフを推定するメタ学習問題を考察する。
我々のゴールは、新しいタスクの学習において補助的なタスクから学んだ情報を用いて、その十分なサンプルの複雑さを減らすことである。
論文 参考訳（メタデータ） (2022-08-19T20:28:39Z) - On the Power of Multitask Representation Learning in Linear MDP [61.58929164172968]
本稿では,線形マルコフ決定過程(MDP)におけるマルチタスク表現学習の統計的メリットについて分析する。
簡単な最小二乗アルゴリズムが $tildeO(H2sqrtfrackappa MathcalC(Phi)2 kappa dNT+frackappa dn) というポリシーを学ぶことを証明した。
論文 参考訳（メタデータ） (2021-06-15T11:21:06Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z) - Few-Shot Learning via Learning the Representation, Provably [115.7367053639605]
本稿では,表現学習による少数ショット学習について検討する。
1つのタスクは、ターゲットタスクのサンプルの複雑さを減らすために、$T$ソースタスクと$n_1$データを使用して表現を学習する。
論文 参考訳（メタデータ） (2020-02-21T17:30:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。