論文の概要: Provable Pathways: Learning Multiple Tasks over Multiple Paths
- arxiv url: http://arxiv.org/abs/2303.04338v1
- Date: Wed, 8 Mar 2023 02:25:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-09 15:17:14.456160
- Title: Provable Pathways: Learning Multiple Tasks over Multiple Paths
- Title（参考訳）: 証明可能な経路: 複数の経路で複数のタスクを学習する
- Authors: Yingcong Li, Samet Oymak
- Abstract要約: 複数の経路上の複数のタスクを学習する経験的リスク最小化問題に対する新しい一般化境界を開発する。
同時に、新しい下流タスクに適応する際のマルチパス表現の利点を形式化する。
- 参考スコア（独自算出の注目度）: 31.43753806123382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Constructing useful representations across a large number of tasks is a key
requirement for sample-efficient intelligent systems. A traditional idea in
multitask learning (MTL) is building a shared representation across tasks which
can then be adapted to new tasks by tuning last layers. A desirable refinement
of using a shared one-fits-all representation is to construct task-specific
representations. To this end, recent PathNet/muNet architectures represent
individual tasks as pathways within a larger supernet. The subnetworks induced
by pathways can be viewed as task-specific representations that are composition
of modules within supernet's computation graph. This work explores the pathways
proposal from the lens of statistical learning: We first develop novel
generalization bounds for empirical risk minimization problems learning
multiple tasks over multiple paths (Multipath MTL). In conjunction, we
formalize the benefits of resulting multipath representation when adapting to
new downstream tasks. Our bounds are expressed in terms of Gaussian complexity,
lead to tangible guarantees for the class of linear representations, and
provide novel insights into the quality and benefits of a multipath
representation. When computation graph is a tree, Multipath MTL hierarchically
clusters the tasks and builds cluster-specific representations. We provide
further discussion and experiments for hierarchical MTL and rigorously identify
the conditions under which Multipath MTL is provably superior to traditional
MTL approaches with shallow supernets.
- Abstract（参考訳）: 多数のタスクにまたがって有用な表現を構築することは、サンプル効率の良いインテリジェントシステムにとって重要な要件である。
マルチタスク学習(MTL)における従来の考え方は、タスク間で共有表現を構築し、最後のレイヤをチューニングすることで新しいタスクに適応する、というものだ。
共有のone-fits-all表現を使用する際の望ましい改良は、タスク固有の表現を構築することである。
この目的のために、最近のPathNet/muNetアーキテクチャは、個々のタスクをより大きなスーパーネット内の経路として表現している。
経路によって引き起こされるサブネットワークは、スーパーネットの計算グラフ内のモジュールの構成であるタスク固有の表現と見なすことができる。
我々はまず,複数経路上の複数のタスクを学習する経験的リスク最小化問題(Multipath MTL)に対して,新しい一般化境界を開発する。
同時に、新しい下流タスクに適応する際のマルチパス表現の利点を形式化する。
我々の境界はガウス複雑性の観点で表現され、線型表現のクラスに対する具体的な保証をもたらし、マルチパス表現の品質と利点に関する新しい洞察を提供する。
計算グラフが木である場合、Multipath MTLは階層的にタスクをクラスタ化し、クラスタ固有の表現を構築する。
我々は、階層型MTLのさらなる議論と実験を行い、Multipath MTLが浅いスーパーネットを持つ従来のMTLアプローチよりも確実に優れている条件を厳格に特定する。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳（メタデータ） (2024-01-02T14:18:11Z) - Provable Benefits of Multi-task RL under Non-Markovian Decision Making
Processes [56.714690083118406]
マルコフ決定過程 (MDP) 下でのマルチタスク強化学習 (RL) において, 共有潜在構造の存在は, シングルタスクRLと比較して, サンプル効率に有意な利益をもたらすことが示されている。
このような利点が、部分的に観測可能なMDP(POMDP)やより一般的な予測状態表現(PSR)といった、より一般的なシーケンシャルな意思決定問題にまで拡張できるかどうかを検討する。
提案手法は,全てのPSRに対してほぼ最適ポリシーを求めるための,証明可能なアルゴリズム UMT-PSR を提案し,PSR の合同モデルクラスが有するマルチタスク学習の利点が示されることを示す。
論文 参考訳（メタデータ） (2023-10-20T14:50:28Z) - Low-Rank Multitask Learning based on Tensorized SVMs and LSSVMs [65.42104819071444]
マルチタスク学習(MTL)はタスク関連性を活用して性能を向上させる。
タスクインデックスに対応する各モードを持つ高次テンソルを用いて、複数のインデックスが参照するタスクを自然に表現する。
テンソル化サポートベクターマシン(SVM)と最小2乗サポートベクターマシン(LSSVM)を併用した低ランクMTL手法の汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-30T14:28:26Z) - Deep Task-specific Bottom Representation Network for Multi-Task
Recommendation [36.128708266100645]
本稿では,Deep Task-specific Bottom Representation Network (DTRN)を提案する。
提案した2つのモジュールは、タスクの相互干渉を緩和するためにタスク固有のボトム表現を得る目的を達成することができる。
論文 参考訳（メタデータ） (2023-08-11T08:04:43Z) - Task Aware Feature Extraction Framework for Sequential Dependence
Multi-Task Learning [1.0765359420035392]
我々は厳密な数学的観点から逐次依存型MLLを解析する。
逐次依存型MLLのためのタスク認識特徴抽出(TAFE)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-01-06T13:12:59Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - A Tree-Structured Multi-Task Model Recommender [25.445073413243925]
木構造型マルチタスクアーキテクチャは、マルチタスク学習(MTL)のコンテキストにおいて、複数の視覚タスクに取り組むために採用されている。
本稿では,モデルトレーニングを行なわずにユーザ指定の計算予算を満たしながら高いタスク性能を実現することができる木構造マルチタスクアーキテクチャを提案する。
一般的なMTLベンチマークの大規模な評価は、推奨アーキテクチャが最先端のMTL手法と比較して、競合するタスク精度と計算効率を達成できることを示している。
論文 参考訳（メタデータ） (2022-03-10T00:09:43Z) - Multi-Task Learning with Deep Neural Networks: A Survey [0.0]
マルチタスク学習(Multi-task learning、MTL)は、複数のタスクを共有モデルで同時に学習する機械学習のサブフィールドである。
深層ニューラルネットワークにおけるマルチタスク学習手法の概要を述べる。
論文 参考訳（メタデータ） (2020-09-10T19:31:04Z) - Boosting Share Routing for Multi-task Learning [0.12891210250935145]
マルチタスク学習(MTL)は、マルチタスク監視信号に含まれる知識をフル活用して、全体的なパフォーマンスを向上させることを目的としている。
複数のタスクの知識を適切に共有する方法は、MTLにとってオープンな問題である。
本稿では,MTNAS(Multi-Task Neural Architecture Search)と呼ばれる汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-01T12:37:19Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳（メタデータ） (2020-04-28T09:15:50Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-31T09:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。