論文の概要: Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning

• arxiv url: http://arxiv.org/abs/2307.14786v2
• Date: Mon, 14 Aug 2023 07:06:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 19:01:28.693444
• Title: Towards Deeply Unified Depth-aware Panoptic Segmentation with Bi-directional Guidance Learning
• Title（参考訳）: 双方向誘導学習による深度認識型深度分割
• Authors: Junwen He, Yifan Wang, Lijun Wang, Huchuan Lu, Jun-Yan He, Jin-Peng Lan, Bin Luo, Yifeng Geng, Xuansong Xie
• Abstract要約: 深度認識型パノプティックセグメンテーションのためのフレームワークを提案する。 本稿では,クロスタスク機能学習を容易にする双方向指導学習手法を提案する。 本手法は,Cityscapes-DVPS と SemKITTI-DVPS の両データセットを用いた深度認識型パノプティックセグメンテーションのための新しい手法である。
• 参考スコア（独自算出の注目度）: 63.63516124646916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth-aware panoptic segmentation is an emerging topic in computer vision which combines semantic and geometric understanding for more robust scene interpretation. Recent works pursue unified frameworks to tackle this challenge but mostly still treat it as two individual learning tasks, which limits their potential for exploring cross-domain information. We propose a deeply unified framework for depth-aware panoptic segmentation, which performs joint segmentation and depth estimation both in a per-segment manner with identical object queries. To narrow the gap between the two tasks, we further design a geometric query enhancement method, which is able to integrate scene geometry into object queries using latent representations. In addition, we propose a bi-directional guidance learning approach to facilitate cross-task feature learning by taking advantage of their mutual relations. Our method sets the new state of the art for depth-aware panoptic segmentation on both Cityscapes-DVPS and SemKITTI-DVPS datasets. Moreover, our guidance learning approach is shown to deliver performance improvement even under incomplete supervision labels.
• Abstract（参考訳）: Depth-Aware Panoptic segmentationは、意味論的および幾何学的理解とより堅牢なシーン解釈を組み合わせたコンピュータビジョンにおける新たなトピックである。 最近の研究は、この課題に取り組むために統一されたフレームワークを追求しているが、ほとんどは2つの個別の学習タスクとして扱う。 本論文では,同一のオブジェクトクエリを用いたセグメント単位の分割と深さ推定を行う,奥行き認識汎視セグメンテーションのための深い統一フレームワークを提案する。 さらに,2つのタスク間のギャップを狭めるために,潜在表現を用いてシーン幾何学をオブジェクトクエリに統合可能な幾何学的クエリ拡張手法を設計する。 さらに,相互関係を生かしてクロスタスク特徴学習を容易にする双方向指導学習手法を提案する。 本手法は,Cityscapes-DVPS と SemKITTI-DVPS の両データセットを用いた深度認識型パノプティックセグメンテーションのための新しい手法である。 さらに,不完全な監督ラベルの下でも,指導学習のアプローチが性能向上をもたらすことを示す。

関連論文リスト

• SwinMTL: A Shared Architecture for Simultaneous Depth Estimation and Semantic Segmentation from Monocular Camera Images [4.269350826756809]
  本研究では,一台のカメラを用いた同時深度推定とセマンティックセマンティックセグメンテーションが可能な,革新的なマルチタスク学習フレームワークを提案する。 提案手法は共有エンコーダデコーダアーキテクチャに基づいており,計算効率を損なうことなく,深度推定とセマンティックセグメンテーションタスクの精度を向上させるために様々な手法を統合する。 このフレームワークは、屋外のCityscapesデータセットと屋内のNYU Depth V2データセットという2つのデータセットで徹底的に評価されている。
  論文  参考訳（メタデータ） (2024-03-15T20:04:27Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation [87.1188556802942]
  教師なしドメイン適応(UDA)設定において,視覚的タスク関係を符号化してモデル性能を向上させる手法を提案する。 本稿では,意味的および深さ的予測のタスク依存性を符号化する新しいクロスタスク関係層(ctrl)を提案する。 さらに、セマンティック擬似ラベルを利用してターゲットドメインを監督する反復自己学習(ISL)トレーニングスキームを提案する。
  論文  参考訳（メタデータ） (2021-05-17T13:42:09Z)
• SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images [94.36401543589523]
  これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。 次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。 私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
  論文  参考訳（メタデータ） (2021-01-19T02:41:03Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• Bidirectional Graph Reasoning Network for Panoptic Segmentation [126.06251745669107]
  本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。 BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
  論文  参考訳（メタデータ） (2020-04-14T02:32:10Z)
• The Edge of Depth: Explicit Constraints between Segmentation and Depth [25.232436455640716]
  画像からの自己教師付き深度推定とセマンティックセグメンテーションという2つの共通コンピュータビジョンタスクの相互利益について検討する。 セグメンテーションと深さの境界の整合性を明示的に測定し,最小化することを提案する。 提案手法は広範にわたる実験を通じて,KITTIにおける教師なし単分子深度推定技術の現状を推し進めるものである。
  論文  参考訳（メタデータ） (2020-04-01T00:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。