論文の概要: Sequential Cross Attention Based Multi-task Learning

• arxiv url: http://arxiv.org/abs/2209.02518v1
• Date: Tue, 6 Sep 2022 14:17:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-07 14:19:45.505148
• Title: Sequential Cross Attention Based Multi-task Learning
• Title（参考訳）: 連続的クロスアテンションに基づくマルチタスク学習
• Authors: Sunkyung Kim, Hyesong Choi, Dongbo Min
• Abstract要約: 本稿では,タスクのマルチスケール機能にアテンション機構を適用することで,情報伝達を効果的に行う新しいアーキテクチャを提案する。 提案手法は,NYUD-v2およびPASCAL-Contextデータセット上での最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 22.430705836627148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In multi-task learning (MTL) for visual scene understanding, it is crucial to transfer useful information between multiple tasks with minimal interferences. In this paper, we propose a novel architecture that effectively transfers informative features by applying the attention mechanism to the multi-scale features of the tasks. Since applying the attention module directly to all possible features in terms of scale and task requires a high complexity, we propose to apply the attention module sequentially for the task and scale. The cross-task attention module (CTAM) is first applied to facilitate the exchange of relevant information between the multiple task features of the same scale. The cross-scale attention module (CSAM) then aggregates useful information from feature maps at different resolutions in the same task. Also, we attempt to capture long range dependencies through the self-attention module in the feature extraction network. Extensive experiments demonstrate that our method achieves state-of-the-art performance on the NYUD-v2 and PASCAL-Context dataset.
• Abstract（参考訳）: 視覚的シーン理解のためのマルチタスク学習(MTL)では、最小限の干渉で複数のタスク間で有用な情報を伝達することが重要である。 本稿では,タスクのマルチスケール機能に注意機構を応用し,情報的特徴を効果的に伝達する新しいアーキテクチャを提案する。 アテンションモジュールをすべての可能な機能に直接スケールとタスクの観点で適用するには、高い複雑さが必要となるため、タスクとスケールにアテンションモジュールを順次適用することを提案する。 クロスタスクアテンションモジュール(CTAM)が最初に適用され、同一スケールの複数のタスク特徴間の関連情報の交換を容易にする。 クロススケールアテンションモジュール(csam)は、同じタスクの異なる解像度で、機能マップから有用な情報を集約する。 また,機能抽出ネットワークの自己アテンションモジュールを通じて,長い範囲の依存関係をキャプチャしようとする。 本手法は,NYUD-v2およびPASCAL-Contextデータセット上での最先端性能を実現する。

関連論文リスト

• SGW-based Multi-Task Learning in Vision Tasks [8.459976488960269]
  データセットの規模が拡大し、タスクの複雑さが増すにつれ、知識の共有はますます困難になってきている。 情報ボトルネック知識抽出モジュール(KEM)を提案する。 このモジュールは,情報の流れを制約することでタスク間干渉を減らすことを目的としており,計算複雑性を低減する。
  論文  参考訳（メタデータ） (2024-10-03T13:56:50Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Factorized Contrastive Learning: Going Beyond Multi-view Redundancy [116.25342513407173]
  本稿では,マルチビュー冗長性を超えた新しいマルチモーダル表現学習法であるFacterCLを提案する。 大規模な実世界のデータセットでは、FacterCLは共有情報とユニークな情報の両方をキャプチャし、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2023-06-08T15:17:04Z)
• MTLSegFormer: Multi-task Learning with Transformers for Semantic Segmentation in Precision Agriculture [16.817025300716796]
  マルチタスク学習とアテンション機構を組み合わせたセマンティックセグメンテーション手法MTLSegFormerを提案する。 相関したタスクで2つの困難な問題で性能を検証し、精度を大幅に改善した。
  論文  参考訳（メタデータ） (2023-05-04T13:19:43Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Medusa: Universal Feature Learning via Attentional Multitasking [65.94499390875046]
  マルチタスク学習への最近のアプローチは、デコーダレベルでタスク間の接続をモデル化することに焦点を当てている。 MTLは普遍的特徴学習(Universal Feature Learning, UFL)への一歩であり, 新たなタスクに適用可能な汎用的な特徴を, 再学習することなく学習することができる。 UFLにおけるMedusaの有効性 (+13.18%改善) は, MTL性能を維持しつつ, 従来のアプローチよりも25%効率がよいことを示す。
  論文  参考訳（メタデータ） (2022-04-12T10:52:28Z)
• Attentive Task Interaction Network for Multi-Task Learning [4.1372815372396525]
  ATI-Netは、各タスクに潜伏する特徴の知識蒸留を採用し、次に特徴マップを組み合わせて、デコーダに改善されたコンテキスト情報を提供する。 注目に基づくマルチタスクネットワークに知識蒸留を導入する新しいアプローチは,技術MTLベースラインの状態を上回ります。
  論文  参考訳（メタデータ） (2022-01-25T22:03:20Z)
• MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
  特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。 本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
  論文  参考訳（メタデータ） (2020-01-19T21:02:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。