論文の概要: DMTG: One-Shot Differentiable Multi-Task Grouping

• arxiv url: http://arxiv.org/abs/2407.05082v1
• Date: Sat, 6 Jul 2024 13:54:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 21:08:14.155081
• Title: DMTG: One-Shot Differentiable Multi-Task Grouping
• Title（参考訳）: DMTG:One-Shot Differentiable Multi-Task Grouping
• Authors: Yuan Gao, Shuguo Jiang, Moran Li, Jin-Gang Yu, Gui-Song Xia,
• Abstract要約: MTG(Multi-Task Grouping)による多タスク学習(Multi-Task Learning, MTL)の実現を目指す。 本稿では,2N候補から最高のタスク群を同時に同定し,高次タスク親和性をフル活用したモデル重みを1ショットで同時に訓練することを提案する。
• 参考スコア（独自算出の注目度）: 32.72240053032646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We aim to address Multi-Task Learning (MTL) with a large number of tasks by Multi-Task Grouping (MTG). Given N tasks, we propose to simultaneously identify the best task groups from 2^N candidates and train the model weights simultaneously in one-shot, with the high-order task-affinity fully exploited. This is distinct from the pioneering methods which sequentially identify the groups and train the model weights, where the group identification often relies on heuristics. As a result, our method not only improves the training efficiency, but also mitigates the objective bias introduced by the sequential procedures that potentially lead to a suboptimal solution. Specifically, we formulate MTG as a fully differentiable pruning problem on an adaptive network architecture determined by an underlying Categorical distribution. To categorize N tasks into K groups (represented by K encoder branches), we initially set up KN task heads, where each branch connects to all N task heads to exploit the high-order task-affinity. Then, we gradually prune the KN heads down to N by learning a relaxed differentiable Categorical distribution, ensuring that each task is exclusively and uniquely categorized into only one branch. Extensive experiments on CelebA and Taskonomy datasets with detailed ablations show the promising performance and efficiency of our method. The codes are available at https://github.com/ethanygao/DMTG.
• Abstract（参考訳）: 我々は,Multi-Task Grouping (MTG) を用いて,多数のタスクでMulti-Task Learning (MTL) に取り組むことを目指している。 N 個のタスクが与えられた場合、2^N 個の候補から最高のタスク群を同時に識別し、高次タスク親和性をフル活用したモデル重みを1ショットで同時に訓練することを提案する。 これは、群を逐次同定し、モデルの重みを訓練する先駆的な方法とは異なっている。 その結果,本手法はトレーニング効率を向上するだけでなく,逐次的手順によって引き起こされる客観バイアスを軽減し,潜在的に準最適解につながる可能性が示唆された。 具体的には、下位のカテゴリー分布によって決定される適応型ネットワークアーキテクチャ上で、MTGを完全微分可能なプルーニング問題として定式化する。 NタスクをKグループ(Kエンコーダブランチで表される)に分類するために、まずKNタスクヘッドを設定し、各ブランチがすべてのNタスクヘッドに接続して高次タスク親和性を利用するようにした。 そして、緩やかな微分可微分圏の分布を学習し、KN の頭部を徐々に N へと下降させ、各タスクが排他的かつ一意的に1つの枝にしか分類されないことを保証する。 CelebA と Taskonomy のデータセットを詳細に検証した結果,提案手法の有望な性能と効率性が確認された。 コードはhttps://github.com/ethanygao/DMTGで公開されている。

関連論文リスト

• Giving each task what it needs -- leveraging structured sparsity for tailored multi-task learning [4.462334751640166]
  この研究はレイヤ改良型マルチタスク(LOMT)モデルを導入している。 LOMTモデルは、構造化された空間を利用して、個々のタスクの特徴選択を強化し、マルチタスクシナリオにおける全てのタスクのパフォーマンスを向上させる。 従来のMTLモデルとは対照的に,LOMTモデルの詳細な性能解析により,ほとんどのタスクの組み合わせにおいて,LOMTモデルの方が優れていたことが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-05T08:23:38Z)
• Aux-NAS: Exploiting Auxiliary Labels with Negligibly Extra Inference Cost [73.28626942658022]
  本研究の目的は,独立タスク(副次タスク)から追加の補助ラベルを活用することで,タスクのパフォーマンスを向上させることである。 本手法は,主タスクと補助タスクのための柔軟な非対称構造を持つアーキテクチャに基づく。 VGG、ResNet、ViTのバックボーンを使用して、NYU v2、CityScapes、Taskonomyデータセット上の6つのタスクで実験を行った。
  論文  参考訳（メタデータ） (2024-05-09T11:50:19Z)
• MmAP : Multi-modal Alignment Prompt for Cross-domain Multi-task Learning [29.88567810099265]
  マルチタスク学習は複数の相関タスクを同時に訓練するように設計されている。 この課題に対処するために、デコーダフリーの視覚言語モデルCLIPを統合する。 CLIPのためのマルチモーダルアライメント・プロンプト(MmAP)を提案する。
  論文  参考訳（メタデータ） (2023-12-14T03:33:02Z)
• Multitask Learning Can Improve Worst-Group Outcomes [76.92646345152788]
  マルチタスク学習(MTL)は、そのような広く使われている技法の一つである。 我々は,共同マルチタスク表現空間を正規化することにより,標準MTLを変更することを提案する。 正規化MTLアプローチは,平均群と最低群の両方でJTTを上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-12-05T21:38:24Z)
• Mitigating Task Interference in Multi-Task Learning via Explicit Task Routing with Non-Learnable Primitives [19.90788777476128]
  マルチタスク学習(MTL)は、タスク間の共有情報を活用することで、複数のタスクを達成するための単一のモデルを学ぶことを目指している。 既存のMLLモデルはタスク間の負の干渉に悩まされていることが知られている。 本研究では,非学習可能なプリミティブと明示的なタスクルーティングの相乗的組み合わせによるタスク干渉を軽減するためのETR-NLPを提案する。
  論文  参考訳（メタデータ） (2023-08-03T22:34:16Z)
• STG-MTL: Scalable Task Grouping for Multi-Task Learning Using Data Map [4.263847576433289]
  MTL(Multi-Task Learning)は、従来のSTL(Single-Task Learning)よりも性能が向上し、普及した強力な技術である。 しかし、MTLは指数的なタスクグルーピング数が多いため、しばしば困難である。 本稿では,これらの課題に対処し,課題分類のためのスケーラブルでモジュール化されたソリューションを提供する新しいデータ駆動手法を提案する。
  論文  参考訳（メタデータ） (2023-07-07T03:54:26Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。