論文の概要: SemSegDepth: A Combined Model for Semantic Segmentation and Depth Completion

• arxiv url: http://arxiv.org/abs/2209.00381v2
• Date: Wed, 6 Mar 2024 12:52:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 18:42:00.905747
• Title: SemSegDepth: A Combined Model for Semantic Segmentation and Depth Completion
• Title（参考訳）: SemSegDepth:Semantic SegmentationとDepth Completionを組み合わせたモデル
• Authors: Juan Pablo Lagos and Esa Rahtu
• Abstract要約: セマンティックセグメンテーションと深度補完を共同で行うための新しいエンド・ツー・エンドモデルを提案する。 提案手法はモデルへの入力としてRGBとスパース深度に依存し,深度マップとそれに対応するセマンティックセグメンテーション画像を生成する。 Virtual KITTI 2データセットで実施された実験は、セマンティックセグメンテーションとディープコンプリートの両方のタスクをマルチタスクネットワークで組み合わせることで、各タスクのパフォーマンスを効果的に改善できるという、さらなるエビデンスを実証し、提供する。
• 参考スコア（独自算出の注目度）: 18.19171031755595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Holistic scene understanding is pivotal for the performance of autonomous machines. In this paper we propose a new end-to-end model for performing semantic segmentation and depth completion jointly. The vast majority of recent approaches have developed semantic segmentation and depth completion as independent tasks. Our approach relies on RGB and sparse depth as inputs to our model and produces a dense depth map and the corresponding semantic segmentation image. It consists of a feature extractor, a depth completion branch, a semantic segmentation branch and a joint branch which further processes semantic and depth information altogether. The experiments done on Virtual KITTI 2 dataset, demonstrate and provide further evidence, that combining both tasks, semantic segmentation and depth completion, in a multi-task network can effectively improve the performance of each task. Code is available at https://github.com/juanb09111/semantic depth.
• Abstract（参考訳）: 総合的なシーン理解は自律機械の性能にとって重要である。 本稿では,セマンティックセグメンテーションと深度補完を共同で行うエンド・ツー・エンドモデルを提案する。 最近のアプローチの大半は、独立したタスクとしてセマンティックセグメンテーションと深さ補完を開発した。 提案手法はモデルへの入力としてRGBとスパース深度に依存し,深度マップと対応するセマンティックセグメンテーション画像を生成する。 特徴抽出器、深さ完了枝、意味分割枝、および意味情報と深さ情報を全て処理する結合枝から構成される。 Virtual KITTI 2データセットで実施された実験は、セマンティックセグメンテーションとディープコンプリートの両方をマルチタスクネットワークで組み合わせることで、各タスクのパフォーマンスを効果的に改善できるという、さらなる証拠を実証し、提示する。 コードはhttps://github.com/juanb09111/semantic depthで入手できる。

関連論文リスト

• Joint Depth Prediction and Semantic Segmentation with Multi-View SAM [59.99496827912684]
  我々は,Segment Anything Model(SAM)のリッチなセマンティック特徴を利用した深度予測のためのマルチビューステレオ(MVS)手法を提案する。 この拡張深度予測は、Transformerベースのセマンティックセグメンテーションデコーダのプロンプトとして役立ちます。
  論文  参考訳（メタデータ） (2023-10-31T20:15:40Z)
• PanDepth: Joint Panoptic Segmentation and Depth Completion [19.642115764441016]
  本稿では,RGB画像とスパース深度マップを用いたマルチタスクモデルを提案する。 本モデルでは,完全な深度マップの予測に成功し,各入力フレームに対してセマンティックセグメンテーション,インスタンスセグメンテーション,パノプティックセグメンテーションを行う。
  論文  参考訳（メタデータ） (2022-12-29T05:37:38Z)
• Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth [83.94528876742096]
  我々は,意味的セグメンテーションと深さ推定という2つの密なタスクのMTL問題に取り組み,クロスチャネル注意モジュール(CCAM)と呼ばれる新しいアテンションモジュールを提案する。 次に,AffineMixと呼ばれる予測深度を用いた意味分節タスクのための新しいデータ拡張と,ColorAugと呼ばれる予測セマンティクスを用いた単純な深度増分を定式化する。 最後に,提案手法の性能向上をCityscapesデータセットで検証し,深度と意味に基づく半教師付きジョイントモデルにおける最先端結果の実現を支援する。
  論文  参考訳（メタデータ） (2022-06-21T17:40:55Z)
• PanopticDepth: A Unified Framework for Depth-aware Panoptic Segmentation [41.85216306978024]
  深度認識型パノプティックセグメンテーション(DPS)のための統合フレームワークを提案する。 インスタンス固有のカーネルを生成し、各インスタンスの深さとセグメンテーションマスクを予測する。 我々は,新たな深度損失による深度学習の監視を支援するために,インスタンスレベルの深度手がかりを追加する。
  論文  参考訳（メタデータ） (2022-06-01T13:00:49Z)
• Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [94.16816278191477]
  本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。 ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。 提案したモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-08-28T01:33:38Z)
• Domain Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [84.34227665232281]
  セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。 ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。 提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
  論文  参考訳（メタデータ） (2021-04-28T07:47:36Z)
• SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images [94.36401543589523]
  これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。 次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。 私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
  論文  参考訳（メタデータ） (2021-01-19T02:41:03Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency [7.273142068778457]
  本稿では, セマンティックセグメンテーションと深度補完に優れたマルチタスク生成対向ネットワーク(Multi-task GANs)を提案する。 本稿では,マルチスケール空間プーリングブロックと構造的類似性復元損失を導入することにより,CycleGANに基づく生成セマンティック画像の詳細を改善する。 CityscapesデータセットとKITTI深度補完ベンチマークの実験は、マルチタスクGANが競合性能を達成することができることを示している。
  論文  参考訳（メタデータ） (2020-11-29T04:12:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。