Fugu-MT 論文翻訳(概要): Multitask Online Mirror Descent

論文の概要: Multitask Online Mirror Descent

arxiv url: http://arxiv.org/abs/2106.02393v1
Date: Fri, 4 Jun 2021 10:14:57 GMT
ステータス: 処理完了
システム内更新日: 2021-06-07 14:57:58.303964
Title: Multitask Online Mirror Descent
Title（参考訳）: マルチタスクオンラインミラーDescent
Authors: Nicol\`o Cesa-Bianchi, Pierre Laforgue, Andrea Paudice, Massimiliano Pontil
Abstract要約: MT-OMDは,タスク間で更新を共有して操作するオンラインミラードライザー(OMD)のマルチタスク一般化である。 OMD の重要な2つの例である Online Gradient Descent と Exponentiated Gradient の拡張は、クローズドフォームの更新を楽しみます。
参考スコア（独自算出の注目度）: 35.93027027759005
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce and analyze MT-OMD, a multitask generalization of Online Mirror Descent (OMD) which operates by sharing updates between tasks. We prove that the regret of MT-OMD is of order $\sqrt{1 + \sigma^2(N-1)}\sqrt{T}$, where $\sigma^2$ is the task variance according to the geometry induced by the regularizer, $N$ is the number of tasks, and $T$ is the time horizon. Whenever tasks are similar, that is, $\sigma^2 \le 1$, this improves upon the $\sqrt{NT}$ bound obtained by running independent OMDs on each task. Our multitask extensions of Online Gradient Descent and Exponentiated Gradient, two important instances of OMD, are shown to enjoy closed-form updates, making them easy to use in practice. Finally, we provide numerical experiments on four real-world datasets which support our theoretical findings.
Abstract（参考訳）: MT-OMDは,タスク間の更新を共有して動作するオンラインミラー・ディクシブ(OMD)のマルチタスク一般化である。 MT-OMD の後悔は次数 $\sqrt{1 + \sigma^2(N-1)}\sqrt{T}$ であることを証明する。タスクが似ている場合、すなわち$\sigma^2 \le 1$は、各タスクで独立したOMDを実行することで得られる$\sqrt{NT}$バウンドに改善される。 OMDの2つの重要な例である Online Gradient Descent と Exponentiated Gradient のマルチタスク拡張は、クローズドフォームの更新を楽しみ、実際に使用しやすいことを示す。最後に,理論的な知見を裏付ける4つの実世界のデータセットについて数値実験を行う。

関連論文リスト

Regret Analysis of Multi-task Representation Learning for Linear-Quadratic Adaptive Control [3.7603027627883363]
線形四元数制御のためのマルチタスク表現学習の後悔を分析した。探索が"良"な設定では、T$タイムステップ後のエージェントの後悔は$tilde O(sqrtT/H)$とスケールする。 difficult" 探索の設定では、後悔は $tilde O(sqrtd_u d_theta sqrtT + T3/4/H1/5)$, $d_the とスケールする。
論文参考訳（メタデータ） (2024-07-08T09:41:42Z)
Metalearning with Very Few Samples Per Task [19.78398372660794]
タスクが共有表現によって関連づけられるバイナリ分類について検討する。ここでは、データ量は、見る必要のあるタスク数$t$と、タスク当たりのサンプル数$n$で測定されます。我々の研究は、分布のないマルチタスク学習の特性とメタとマルチタスク学習の削減をもたらす。
論文参考訳（メタデータ） (2023-12-21T16:06:44Z)
Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文参考訳（メタデータ） (2023-07-13T16:39:08Z)
Scaling Distributed Multi-task Reinforcement Learning with Experience Sharing [38.883540444516605]
DARPAはShELLプログラムを立ち上げた。これは、経験共有が分散生涯学習エージェントにどのように役立つかを探求することを目的としている。分散マルチタスク強化学習(RL)の理論的および実証的研究を行い、N$エージェントのグループがM$タスクを協調的に解決する。我々はDistMT-LSVIと呼ばれるアルゴリズムを提案し、各エージェントは独立に$epsilon$-optimal Policyを全ての$M$タスクに対して学習する。
論文参考訳（メタデータ） (2023-07-11T22:58:53Z)
FAMO: Fast Adaptive Multitask Optimization [48.59232177073481]
本稿では,動的重み付け手法であるFast Adaptive Multitask Optimization FAMOを導入する。この結果から,FAMOは最先端の勾配操作技術に匹敵する,あるいは優れた性能を達成できることが示唆された。
論文参考訳（メタデータ） (2023-06-06T15:39:54Z)
Simplifying and Understanding State Space Models with Diagonal Linear RNNs [56.33053691749856]
本研究は、離散化ステップを解消し、バニラ対角線形RNNに基づくモデルを提案する。概念的にはるかに単純であるにもかかわらず、$mathrmDLR$は以前提案したSSMと同じくらいのパフォーマンスを示す。また、合成シーケンス・ツー・シーケンス・タスクのスイートによって、SSMとアテンションベースモデルの表現性も特徴付ける。
論文参考訳（メタデータ） (2022-12-01T18:53:06Z)
Joint Representation Training in Sequential Tasks with Shared Structure [40.1056491921582]
マルチタスク行列RLの設定のための共有行列RLアルゴリズムを提案する。我々は$P$タスクに対する後悔を$O(PHdsqrtNH)$から$O((HdsqrtrP + HPsqrtrd)sqrtNH)$ over $N$ episodes of horizon$H$へと改善できることを示した。
論文参考訳（メタデータ） (2022-06-24T18:10:00Z)
On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
マルチタスク学習の研究はコミュニティから大きな注目を集めている。目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
論文参考訳（メタデータ） (2022-03-06T11:57:18Z)
Multi-task Representation Learning with Stochastic Linear Bandits [29.8208189270894]
線形バンディットタスクの設定におけるトランスファーラーニングの問題について検討する。我々は,タスク間で低次元線形表現が共有されていると考え,マルチタスク学習環境において,この表現を学習するメリットについて検討する。
論文参考訳（メタデータ） (2022-02-21T09:26:34Z)
On the Theory of Transfer Learning: The Importance of Task Diversity [114.656572506859]
一般的な関数クラス$mathcalF circ MathcalH$において、$f_j circ h$という形の関数によってパラメータ化される$t+1$タスクを考える。多様なトレーニングタスクに対して、最初の$t$のトレーニングタスク間で共有表現を学ぶのに必要なサンプルの複雑さが、$C(mathcalH) + t C(mathcalF)$であることを示す。
論文参考訳（メタデータ） (2020-06-20T20:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。