論文の概要: Body Segmentation Using Multi-task Learning
- arxiv url: http://arxiv.org/abs/2212.06550v1
- Date: Tue, 13 Dec 2022 13:06:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 14:56:50.495686
- Title: Body Segmentation Using Multi-task Learning
- Title(参考訳): マルチタスク学習を用いた身体セグメンテーション
- Authors: Julijan Jug, Ajda Lampe, Vitomir \v{S}truc, Peter Peer
- Abstract要約: 本稿では,3つのタスクを伴い,人間のセグメンテーション/パーシングのための新しいマルチタスクモデルを提案する。
提案された--Pose--DensePoseモデル(略してSPD)の背景にある主な考え方は、異なるが関連するタスク間で知識を共有することによって、より良いセグメンテーションモデルを学ぶことである。
モデルの性能は、LIPおよびATRデータセットの厳密な実験により分析され、最近の(最先端)マルチタスクボディセグメンテーションモデルと比較される。
- 参考スコア(独自算出の注目度): 1.0832844764942349
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Body segmentation is an important step in many computer vision problems
involving human images and one of the key components that affects the
performance of all downstream tasks. Several prior works have approached this
problem using a multi-task model that exploits correlations between different
tasks to improve segmentation performance. Based on the success of such
solutions, we present in this paper a novel multi-task model for human
segmentation/parsing that involves three tasks, i.e., (i) keypoint-based
skeleton estimation, (ii) dense pose prediction, and (iii) human-body
segmentation. The main idea behind the proposed Segmentation--Pose--DensePose
model (or SPD for short) is to learn a better segmentation model by sharing
knowledge across different, yet related tasks. SPD is based on a shared deep
neural network backbone that branches off into three task-specific model heads
and is learned using a multi-task optimization objective. The performance of
the model is analysed through rigorous experiments on the LIP and ATR datasets
and in comparison to a recent (state-of-the-art) multi-task body-segmentation
model. Comprehensive ablation studies are also presented. Our experimental
results show that the proposed multi-task (segmentation) model is highly
competitive and that the introduction of additional tasks contributes towards a
higher overall segmentation performance.
- Abstract(参考訳): ボディセグメンテーションは、人間の画像を含む多くのコンピュータビジョン問題において重要なステップであり、全ての下流タスクのパフォーマンスに影響を与える重要なコンポーネントの1つである。
様々なタスク間の相関を利用してセグメンテーション性能を改善するマルチタスクモデルを用いて、いくつかの先行研究がこの問題にアプローチしている。
このようなソリューションの成功に基づいて,本稿では3つのタスクを含む人間のセグメンテーション/パーシングのための新しいマルチタスクモデルを提案する。
(i)キーポイントに基づく骨格推定
(ii)濃厚なポーズ予測、及び
(iii)人体セグメンテーション。
提案されているセグメンテーション-Pose-DensePoseモデル(略してSPD)の背景にある主な考え方は、異なるが関連するタスク間で知識を共有することによって、より良いセグメンテーションモデルを学ぶことである。
spdは、共有ディープニューラルネットワークバックボーンに基づいて、3つのタスク固有のモデルヘッドに分岐し、マルチタスク最適化の目的を使って学習される。
モデルの性能は、LIPおよびATRデータセットの厳密な実験により分析され、最近の(最先端)マルチタスクボディセグメンテーションモデルと比較される。
包括的アブレーション研究も行われている。
実験結果から,提案したマルチタスク(セグメンテーション)モデルは非常に競争力が高く,さらにタスクの追加が全体のセグメンテーション性能の向上に寄与することが示唆された。
関連論文リスト
- A Multitask Deep Learning Model for Classification and Regression of Hyperspectral Images: Application to the large-scale dataset [44.94304541427113]
ハイパースペクトル画像上で複数の分類タスクと回帰タスクを同時に行うマルチタスク深層学習モデルを提案する。
我々は、TAIGAと呼ばれる大規模なハイパースペクトルデータセットに対するアプローチを検証した。
結果の総合的定性的および定量的分析により,提案手法が他の最先端手法よりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2024-07-23T11:14:54Z) - MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。
事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。
SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。
我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
論文 参考訳(メタデータ) (2024-03-20T09:17:22Z) - OMG-Seg: Is One Model Good Enough For All Segmentation? [83.17068644513144]
OMG-Segは、タスク固有のクエリと出力を持つトランスフォーマーベースのエンコーダデコーダアーキテクチャである。
OMG-Segは10以上の異なるセグメンテーションタスクをサポートできるが、計算とパラメータのオーバーヘッドを大幅に削減できることを示す。
論文 参考訳(メタデータ) (2024-01-18T18:59:34Z) - Concrete Subspace Learning based Interference Elimination for Multi-task
Model Fusion [86.6191592951269]
一般的な事前訓練された大規模モデルから微調整されたマージングモデルは、様々なタスクに特化しているが、様々なタスクでうまく機能するマルチタスクモデルを構築するための安価でスケーラブルな戦略として実証されている。
本稿では、共通低次元部分空間を同定し、その共有情報トラック干渉問題を性能を犠牲にすることなく利用するための連続緩和(Concrete)部分空間学習法を提案する。
論文 参考訳(メタデータ) (2023-12-11T07:24:54Z) - Joint Depth Prediction and Semantic Segmentation with Multi-View SAM [59.99496827912684]
我々は,Segment Anything Model(SAM)のリッチなセマンティック特徴を利用した深度予測のためのマルチビューステレオ(MVS)手法を提案する。
この拡張深度予測は、Transformerベースのセマンティックセグメンテーションデコーダのプロンプトとして役立ちます。
論文 参考訳(メタデータ) (2023-10-31T20:15:40Z) - You Only Look at Once for Real-time and Generic Multi-Task [20.61477620156465]
A-YOLOMは適応的でリアルタイムで軽量なマルチタスクモデルである。
我々は,統一的で合理化されたセグメンテーション構造を持つエンドツーエンドのマルチタスクモデルを開発した。
BDD100kデータセットで競合的な結果が得られます。
論文 参考訳(メタデータ) (2023-10-02T21:09:43Z) - AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。
また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
論文 参考訳(メタデータ) (2023-05-28T16:28:49Z) - Tailored Multi-Organ Segmentation with Model Adaptation and Ensemble [22.82094545786408]
マルチ組織セグメンテーションは、医用画像解析の基本的な課題である。
高価な労働コストと専門知識のため、多臓器アノテーションの入手は通常制限される。
本稿では,モデル適応段とモデルアンサンブル段からなる新しい2段法を提案する。
論文 参考訳(メタデータ) (2023-04-14T13:39:39Z) - Rethinking Hard-Parameter Sharing in Multi-Task Learning [20.792654758645302]
マルチタスク学習(MTL)におけるハードパラメータ共有により、タスクはモデルのパラメータの一部を共有でき、ストレージコストを低減し、予測精度を向上させることができる。
共通の共有プラクティスは、タスク毎に別々のトップレイヤを使用しながら、タスク間でディープニューラルネットワークのボトムレイヤを共有することだ。
異なるボトム層パラメータを使用することで、一般的なプラクティスよりも大幅にパフォーマンスが向上する可能性がある。
論文 参考訳(メタデータ) (2021-07-23T17:26:40Z) - Multi-Task Learning for Dense Prediction Tasks: A Survey [87.66280582034838]
マルチタスク学習(MTL)技術は、性能、計算、メモリフットプリントに関する有望な結果を示している。
我々は、コンピュータビジョンにおけるMLLのための最先端のディープラーニングアプローチについて、よく理解された視点を提供する。
論文 参考訳(メタデータ) (2020-04-28T09:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。