Fugu-MT 論文翻訳(概要): Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency

論文の概要: Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency

arxiv url: http://arxiv.org/abs/2011.14272v1
Date: Sun, 29 Nov 2020 04:12:16 GMT
ステータス: 処理完了
システム内更新日: 2021-06-07 13:51:24.582936
Title: Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency
Title（参考訳）: 周期整合性を有するセマンティックセグメンテーションと深さ補完のためのマルチタスクGAN
Authors: Chongzhen Zhang, Yang Tang, Chaoqiang Zhao, Qiyu Sun, Zhencheng Ye and J\"urgen Kurths
Abstract要約: 本稿では, セマンティックセグメンテーションと深度補完に優れたマルチタスク生成対向ネットワーク(Multi-task GANs)を提案する。本稿では,マルチスケール空間プーリングブロックと構造的類似性復元損失を導入することにより,CycleGANに基づく生成セマンティック画像の詳細を改善する。 CityscapesデータセットとKITTI深度補完ベンチマークの実験は、マルチタスクGANが競合性能を達成することができることを示している。
参考スコア（独自算出の注目度）: 7.273142068778457
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Semantic segmentation and depth completion are two challenging tasks in scene understanding, and they are widely used in robotics and autonomous driving. Although several works are proposed to jointly train these two tasks using some small modifications, like changing the last layer, the result of one task is not utilized to improve the performance of the other one despite that there are some similarities between these two tasks. In this paper, we propose multi-task generative adversarial networks (Multi-task GANs), which are not only competent in semantic segmentation and depth completion, but also improve the accuracy of depth completion through generated semantic images. In addition, we improve the details of generated semantic images based on CycleGAN by introducing multi-scale spatial pooling blocks and the structural similarity reconstruction loss. Furthermore, considering the inner consistency between semantic and geometric structures, we develop a semantic-guided smoothness loss to improve depth completion results. Extensive experiments on Cityscapes dataset and KITTI depth completion benchmark show that the Multi-task GANs are capable of achieving competitive performance for both semantic segmentation and depth completion tasks.
Abstract（参考訳）: セマンティックセグメンテーションと奥行き完了は、シーン理解において2つの困難なタスクであり、ロボット工学や自動運転で広く使われている。これら2つのタスクを,最後のレイヤの変更など,いくつかの小さな修正によって共同でトレーニングする作業が提案されているが,これら2つのタスクの間に類似点があるにも関わらず,一方のタスクの結果は他方のパフォーマンス向上には利用されない。本稿では, セマンティックセグメンテーションや深度補完に適するだけでなく, 生成したセマンティックイメージによる深度補完の精度を向上させるマルチタスク生成対向ネットワーク(Multi-task GANs)を提案する。さらに,マルチスケール空間プーリングブロックと構造的類似性再構築損失を導入することにより,CycleGANに基づく生成セマンティックイメージの詳細を改善する。さらに, 意味構造と幾何学構造の内部的一貫性を考慮して, 奥行き完了結果を改善するために, 意味的に導かれた滑らかさ損失を開発した。 CityscapesデータセットとKITTI深度補完ベンチマークの大規模な実験により、マルチタスクGANはセマンティックセグメンテーションと深度完了タスクの両方で競合性能を達成することができることが示された。

関連論文リスト

Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
論文参考訳（メタデータ） (2024-06-28T10:05:58Z)
Multi-task Learning with 3D-Aware Regularization [55.97507478913053]
本稿では,画像エンコーダから抽出した特徴を共有3D特徴空間に投影することで,複数のタスクをインタフェースする構造化3D認識正規化器を提案する。提案手法はアーキテクチャ非依存であり,従来のマルチタスクバックボーンにプラグインすることで,性能を向上できることを示す。
論文参考訳（メタデータ） (2023-10-02T08:49:56Z)
A Dynamic Feature Interaction Framework for Multi-task Visual Perception [100.98434079696268]
複数の共通認識課題を解決するための効率的な統合フレームワークを考案する。これらのタスクには、インスタンスセグメンテーション、セマンティックセグメンテーション、モノクル3D検出、深さ推定が含まれる。提案するフレームワークはD2BNetと呼ばれ,マルチタスク認識のためのパラメータ効率予測に一意なアプローチを示す。
論文参考訳（メタデータ） (2023-06-08T09:24:46Z)
SemSegDepth: A Combined Model for Semantic Segmentation and Depth Completion [18.19171031755595]
セマンティックセグメンテーションと深度補完を共同で行うための新しいエンド・ツー・エンドモデルを提案する。提案手法はモデルへの入力としてRGBとスパース深度に依存し,深度マップとそれに対応するセマンティックセグメンテーション画像を生成する。 Virtual KITTI 2データセットで実施された実験は、セマンティックセグメンテーションとディープコンプリートの両方のタスクをマルチタスクネットワークで組み合わせることで、各タスクのパフォーマンスを効果的に改善できるという、さらなるエビデンスを実証し、提供する。
論文参考訳（メタデータ） (2022-09-01T11:52:11Z)
Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
論文参考訳（メタデータ） (2022-06-21T17:40:55Z)
Empirical Study of Multi-Task Hourglass Model for Semantic Segmentation Task [0.7614628596146599]
エッジ検出, 意味輪郭, 距離変換タスクを用いて, セマンティックセグメンテーションタスクを補完するマルチタスク手法を提案する。本研究では,Cityscapes,CamVid,Freiburg Forestの各データセットにおける時間ガラスモデルのマルチタスク環境における学習の有効性を示す。
論文参考訳（メタデータ） (2021-05-28T01:08:10Z)
Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
論文参考訳（メタデータ） (2021-05-17T13:42:09Z)
A Multi-Task Deep Learning Framework for Building Footprint Segmentation [0.0]
足跡線構築タスクのための共同最適化方式を提案する。また,画像再構成と建物足跡境界分割という2つの補助タスクも導入する。特に、深層マルチタスク学習(MTL)ベースの統合完全畳み込みフレームワークを提案します。
論文参考訳（メタデータ） (2021-04-19T15:07:27Z)
SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images [94.36401543589523]
これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
論文参考訳（メタデータ） (2021-01-19T02:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。