論文の概要: Medusa: Universal Feature Learning via Attentional Multitasking
- arxiv url: http://arxiv.org/abs/2204.05698v1
- Date: Tue, 12 Apr 2022 10:52:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-13 13:41:46.726957
- Title: Medusa: Universal Feature Learning via Attentional Multitasking
- Title(参考訳): medusa: 注意型マルチタスクによるユニバーサル機能学習
- Authors: Jaime Spencer, Richard Bowden, Simon Hadfield
- Abstract要約: マルチタスク学習への最近のアプローチは、デコーダレベルでタスク間の接続をモデル化することに焦点を当てている。
MTLは普遍的特徴学習(Universal Feature Learning, UFL)への一歩であり, 新たなタスクに適用可能な汎用的な特徴を, 再学習することなく学習することができる。
UFLにおけるMedusaの有効性 (+13.18%改善) は, MTL性能を維持しつつ, 従来のアプローチよりも25%効率がよいことを示す。
- 参考スコア(独自算出の注目度): 65.94499390875046
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent approaches to multi-task learning (MTL) have focused on modelling
connections between tasks at the decoder level. This leads to a tight coupling
between tasks, which need retraining if a new task is inserted or removed. We
argue that MTL is a stepping stone towards universal feature learning (UFL),
which is the ability to learn generic features that can be applied to new tasks
without retraining.
We propose Medusa to realize this goal, designing task heads with dual
attention mechanisms. The shared feature attention masks relevant backbone
features for each task, allowing it to learn a generic representation.
Meanwhile, a novel Multi-Scale Attention head allows the network to better
combine per-task features from different scales when making the final
prediction. We show the effectiveness of Medusa in UFL (+13.18% improvement),
while maintaining MTL performance and being 25% more efficient than previous
approaches.
- Abstract(参考訳): マルチタスク学習(MTL)への最近のアプローチは、デコーダレベルでタスク間の接続をモデル化することに焦点を当てている。
これにより、タスク間の密結合が発生し、新しいタスクが挿入または削除された場合に再トレーニングが必要になる。
MTLは普遍的特徴学習(Universal Feature Learning, UFL)への一歩であり, 新たなタスクに適用可能な汎用的な特徴を再学習することなく学習することができる。
我々は,この目標を達成するために,二重注意機構を備えたタスクヘッドの設計を提案する。
共有機能アテンションは、各タスクの関連するバックボーン機能をマスクし、汎用表現を学習できるようにする。
一方、新しいマルチスケールアテンションヘッドにより、最終的な予測を行う際に、異なるスケールのタスク毎の機能を統合することができる。
我々は,mtl性能を維持しつつ,従来よりも25%効率の良いメデューサの有効性を示す(+13.18%改善)。
関連論文リスト
- EMA-Net: Efficient Multitask Affinity Learning for Dense Scene
Predictions [7.01633634930651]
マルチタスク親和性学習ネットワーク(EMA-Net)について紹介する。
EMA-Netは、我々の新しいクロスタスク親和性学習(CTAL)モジュールを用いて、ローカル、グローバル、およびクロスタスクのインタラクションを適応的にキャプチャする。
この結果から,CNNを用いたデコーダに着目したモデルに対して,最先端のMTL性能を実現することができた。
論文 参考訳(メタデータ) (2024-01-20T05:31:47Z) - Top-Down Network Combines Back-Propagation with Attention [3.6683171094134805]
視覚やその他の領域における皮質処理は、ボトムアップ(BU)と広範なトップダウン(TD)処理を組み合わせる。
本稿では,従来のボトムアップネットワークを対称的なトップダウンネットワークと統合可能な,新しい対称なボトムアップトップダウンネットワーク構造を提案する。
提案手法は,標準的なマルチタスク学習ベンチマーク上での競合性能を示す。
論文 参考訳(メタデータ) (2023-06-04T17:38:06Z) - M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task
Learning with Model-Accelerator Co-design [95.41238363769892]
マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。
現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。
効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-26T15:40:24Z) - Sequential Cross Attention Based Multi-task Learning [22.430705836627148]
本稿では,タスクのマルチスケール機能にアテンション機構を適用することで,情報伝達を効果的に行う新しいアーキテクチャを提案する。
提案手法は,NYUD-v2およびPASCAL-Contextデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-09-06T14:17:33Z) - Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of
Semantics and Depth [83.94528876742096]
我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。
次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。
最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
論文 参考訳(メタデータ) (2022-06-21T17:40:55Z) - Zero Experience Required: Plug & Play Modular Transfer Learning for
Semantic Visual Navigation [97.17517060585875]
新たなモジュール移動学習モデルを用いて視覚ナビゲーションに統一的な手法を提案する。
我々のモデルは、1つのソースタスクから経験を効果的に活用し、複数のターゲットタスクに適用することができる。
我々のアプローチはより速く学習し、より良く一般化し、大きなマージンでSoTAモデルを上回っます。
論文 参考訳(メタデータ) (2022-02-05T00:07:21Z) - Attentive Task Interaction Network for Multi-Task Learning [4.1372815372396525]
ATI-Netは、各タスクに潜伏する特徴の知識蒸留を採用し、次に特徴マップを組み合わせて、デコーダに改善されたコンテキスト情報を提供する。
注目に基づくマルチタスクネットワークに知識蒸留を導入する新しいアプローチは,技術MTLベースラインの状態を上回ります。
論文 参考訳(メタデータ) (2022-01-25T22:03:20Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳(メタデータ) (2020-07-24T14:44:46Z) - MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning [82.62433731378455]
特定のスケールで高い親和性を持つタスクは、他のスケールでこの動作を維持することが保証されていないことを示す。
本稿では,この発見に基づく新しいアーキテクチャ MTI-Net を提案する。
論文 参考訳(メタデータ) (2020-01-19T21:02:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。