論文の概要: SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images

• arxiv url: http://arxiv.org/abs/2101.07422v1
• Date: Tue, 19 Jan 2021 02:41:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 09:33:59.210965
• Title: SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images
• Title（参考訳）: sosd-net:単眼画像からの統合意味オブジェクトセグメンテーションと深さ推定
• Authors: Lei He, Jiwen Lu, Guanghui Wang, Shiyu Song, Jie Zhou
• Abstract要約: これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。 次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。 私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
• 参考スコア（独自算出の注目度）: 94.36401543589523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Depth estimation and semantic segmentation play essential roles in scene understanding. The state-of-the-art methods employ multi-task learning to simultaneously learn models for these two tasks at the pixel-wise level. They usually focus on sharing the common features or stitching feature maps from the corresponding branches. However, these methods lack in-depth consideration on the correlation of the geometric cues and the scene parsing. In this paper, we first introduce the concept of semantic objectness to exploit the geometric relationship of these two tasks through an analysis of the imaging process, then propose a Semantic Object Segmentation and Depth Estimation Network (SOSD-Net) based on the objectness assumption. To the best of our knowledge, SOSD-Net is the first network that exploits the geometry constraint for simultaneous monocular depth estimation and semantic segmentation. In addition, considering the mutual implicit relationship between these two tasks, we exploit the iterative idea from the expectation-maximization algorithm to train the proposed network more effectively. Extensive experimental results on the Cityscapes and NYU v2 dataset are presented to demonstrate the superior performance of the proposed approach.
• Abstract（参考訳）: 深度推定とセマンティックセグメンテーションはシーン理解において重要な役割を果たす。 最先端の手法ではマルチタスク学習を用いて2つのタスクのモデルをピクセル単位で同時に学習する。 彼らは通常、共通の特徴を共有したり、対応するブランチから特徴マップを縫い合わせることにフォーカスする。 しかし,これらの手法は,幾何学的手がかりとシーン解析の相関性について深く考慮されていない。 本稿では,まず,これら2つの課題の幾何学的関係を画像解析によって活用する意味的対象性の概念を紹介し,対象性仮定に基づく意味的対象分割と深度推定ネットワーク(SOSD-Net)を提案する。 我々の知る限り、SOSD-Netは、一眼深度推定とセマンティックセグメンテーションを同時に行うための幾何学的制約を利用する最初のネットワークである。 また,これら2つのタスク間の相互暗黙的関係を考慮し,期待最大化アルゴリズムによる反復的アイデアを活用し,提案するネットワークをより効果的に学習する。 CityscapesとNYU v2データセットに関する大規模な実験結果を示し、提案手法の優れた性能を示す。

関連論文リスト

• SwinMTL: A Shared Architecture for Simultaneous Depth Estimation and Semantic Segmentation from Monocular Camera Images [4.269350826756809]
  本研究では,一台のカメラを用いた同時深度推定とセマンティックセマンティックセグメンテーションが可能な,革新的なマルチタスク学習フレームワークを提案する。 提案手法は共有エンコーダデコーダアーキテクチャに基づいており,計算効率を損なうことなく,深度推定とセマンティックセグメンテーションタスクの精度を向上させるために様々な手法を統合する。 このフレームワークは、屋外のCityscapesデータセットと屋内のNYU Depth V2データセットという2つのデータセットで徹底的に評価されている。
  論文  参考訳（メタデータ） (2024-03-15T20:04:27Z)
• Hybridnet for depth estimation and semantic segmentation [2.781817315328713]
  深度推定とセマンティックセグメンテーションは、ハイブリッド畳み込みネットワークを介して単一の入力画像から処理される。 提案されたHybridNetは、ひとつのタスクに関連する機能と、両方に関連する機能とを分離することで、機能抽出を改善している。
  論文  参考訳（メタデータ） (2024-02-09T16:52:45Z)
• Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning [63.63516124646916]
  深度認識型パノプティックセグメンテーションのためのフレームワークを提案する。 本稿では,クロスタスク機能学習を容易にする双方向指導学習手法を提案する。 本手法は,Cityscapes-DVPS と SemKITTI-DVPS の両データセットを用いた深度認識型パノプティックセグメンテーションのための新しい手法である。
  論文  参考訳（メタデータ） (2023-07-27T11:28:33Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Self-Supervised Monocular Depth Estimation with Internal Feature Fusion [12.874712571149725]
  深度推定のための自己教師付き学習は、画像列の幾何学を用いて監督する。 そこで本研究では,ダウンおよびアップサンプリングの手順で意味情報を利用することのできる,新しい深度推定ネットワークDIFFNetを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:31:11Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• The Edge of Depth: Explicit Constraints between Segmentation and Depth [25.232436455640716]
  画像からの自己教師付き深度推定とセマンティックセグメンテーションという2つの共通コンピュータビジョンタスクの相互利益について検討する。 セグメンテーションと深さの境界の整合性を明示的に測定し,最小化することを提案する。 提案手法は広範にわたる実験を通じて,KITTIにおける教師なし単分子深度推定技術の現状を推し進めるものである。
  論文  参考訳（メタデータ） (2020-04-01T00:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。