論文の概要: Compressed Hierarchical Representations for Multi-Task Learning and Task
Clustering
- arxiv url: http://arxiv.org/abs/2205.15882v1
- Date: Tue, 31 May 2022 15:31:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 14:49:07.639017
- Title: Compressed Hierarchical Representations for Multi-Task Learning and Task
Clustering
- Title(参考訳): マルチタスク学習とタスククラスタリングのための圧縮階層表現
- Authors: Jo\~ao Machado de Freitas, Sebastian Berg, Bernhard C. Geiger and
Manfred M\"ucke
- Abstract要約: 階層的表現学習問題として,同質なマルチタスク学習を考察する。
タスク非依存表現とタスク固有の潜在表現の間には,付加的な独立ノイズモデルが仮定される。
これらの結果から,MTLベンチマークの競合性能が得られた。
- 参考スコア(独自算出の注目度): 5.878411350387833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we frame homogeneous-feature multi-task learning (MTL) as a
hierarchical representation learning problem, with one task-agnostic and
multiple task-specific latent representations. Drawing inspiration from the
information bottleneck principle and assuming an additive independent noise
model between the task-agnostic and task-specific latent representations, we
limit the information contained in each task-specific representation. It is
shown that our resulting representations yield competitive performance for
several MTL benchmarks. Furthermore, for certain setups, we show that the
trained parameters of the additive noise model are closely related to the
similarity of different tasks. This indicates that our approach yields a
task-agnostic representation that is disentangled in the sense that its
individual dimensions may be interpretable from a task-specific perspective.
- Abstract(参考訳): 本稿では,タスク非依存かつ複数のタスク固有の潜在表現を用いて,同質なマルチタスク学習(MTL)を階層的表現学習問題とみなす。
情報ボトルネックの原理からインスピレーションを得て,タスク非依存表現とタスク特化表現の間に付加的な独立ノイズモデルを仮定し,各タスク特化表現に含まれる情報を制限する。
これらの結果から,MTLベンチマークの競合性能が得られた。
さらに,特定の設定において,付加雑音モデルの学習パラメータが異なるタスクの類似度と密接に関連していることを示す。
このことから,本手法は,タスク固有の視点から個々の次元が解釈可能であるという意味では,タスクに依存しない表現を導出することを示す。
関連論文リスト
- Distribution Matching for Multi-Task Learning of Classification Tasks: a
Large-Scale Study on Faces & Beyond [62.406687088097605]
マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。
MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。
本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-02T14:18:11Z) - TaskExpert: Dynamically Assembling Multi-Task Representations with
Memorial Mixture-of-Experts [11.608682595506354]
最近のモデルでは、タスク固有の機能を1つの共有タスクジェネリック機能から直接デコードすることを検討している。
入力機能が完全に共有され、各タスクデコーダは異なる入力サンプルのデコードパラメータも共有するので、静的な機能デコードプロセスにつながる。
本稿では,複数のタスク・ジェネリックな特徴空間を学習可能なマルチタスク・ミックス・オブ・エキスパート・モデルであるTaskExpertを提案する。
論文 参考訳(メタデータ) (2023-07-28T06:00:57Z) - A Dynamic Feature Interaction Framework for Multi-task Visual Perception [100.98434079696268]
複数の共通認識課題を解決するための効率的な統合フレームワークを考案する。
これらのタスクには、インスタンスセグメンテーション、セマンティックセグメンテーション、モノクル3D検出、深さ推定が含まれる。
提案するフレームワークはD2BNetと呼ばれ,マルチタスク認識のためのパラメータ効率予測に一意なアプローチを示す。
論文 参考訳(メタデータ) (2023-06-08T09:24:46Z) - On Steering Multi-Annotations per Sample for Multi-Task Learning [79.98259057711044]
マルチタスク学習の研究はコミュニティから大きな注目を集めている。
目覚ましい進歩にもかかわらず、異なるタスクを同時に学習するという課題はまだ検討されていない。
従来の研究は、異なるタスクから勾配を修正しようとするが、これらの手法はタスク間の関係の主観的な仮定を与え、修正された勾配はより正確でないかもしれない。
本稿では,タスク割り当てアプローチによってこの問題に対処する機構であるタスク割当(STA)を紹介し,各サンプルをランダムにタスクのサブセットに割り当てる。
さらなる進展のために、我々は全てのタスクを反復的に割り当てるためにInterleaved Task Allocation(ISTA)を提案する。
論文 参考訳(メタデータ) (2022-03-06T11:57:18Z) - Multi-View representation learning in Multi-Task Scene [4.509968166110557]
我々は,MTMVCSF(Common and Special Features)に基づくマルチタスク多視点学習(multi-Task Multi-View learning)と呼ばれる,新しい半教師付きアルゴリズムを提案する。
AN-MTMVCSFと呼ばれるマルチタスク・マルチタスク・マルチビュー・アルゴリズムが提案されている。
これらのアルゴリズムの有効性は、実世界と合成データの双方でよく設計された実験によって証明される。
論文 参考訳(メタデータ) (2022-01-15T11:26:28Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳(メタデータ) (2021-11-09T18:49:45Z) - Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。
そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。
本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
論文 参考訳(メタデータ) (2021-10-14T07:43:39Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳(メタデータ) (2021-04-28T16:45:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。