論文の概要: Depth-aware Panoptic Segmentation

• arxiv url: http://arxiv.org/abs/2405.10947v1
• Date: Thu, 21 Mar 2024 08:06:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 08:49:26.568561
• Title: Depth-aware Panoptic Segmentation
• Title（参考訳）: 深度認識型パノプティックセグメンテーション
• Authors: Tuan Nguyen, Max Mehltretter, Franz Rottensteiner,
• Abstract要約: 本稿では, パンオプティカルセグメンテーションのための新しいCNN手法を提案する。 そこで本研究では,同じ物体に対して画素の割り当てを行う深度対応ダイス損失項を提案する。 Cityscapesデータセットで行った実験では、提案手法が誤って1つのインスタンスにマージされたオブジェクトの数を減少させることを示した。
• 参考スコア（独自算出の注目度）: 1.4170154234094008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Panoptic segmentation unifies semantic and instance segmentation and thus delivers a semantic class label and, for so-called thing classes, also an instance label per pixel. The differentiation of distinct objects of the same class with a similar appearance is particularly challenging and frequently causes such objects to be incorrectly assigned to a single instance. In the present work, we demonstrate that information on the 3D geometry of the observed scene can be used to mitigate this issue: We present a novel CNN-based method for panoptic segmentation which processes RGB images and depth maps given as input in separate network branches and fuses the resulting feature maps in a late fusion manner. Moreover, we propose a new depth-aware dice loss term which penalises the assignment of pixels to the same thing instance based on the difference between their associated distances to the camera. Experiments carried out on the Cityscapes dataset show that the proposed method reduces the number of objects that are erroneously merged into one thing instance and outperforms the method used as basis by 2.2% in terms of panoptic quality.
• Abstract（参考訳）: パノプティックセグメンテーションはセマンティックとインスタンスセグメンテーションを統一し、セマンティッククラスラベルを提供する。 類似した外観を持つ同じクラスの異なるオブジェクトの区別は特に困難であり、そのようなオブジェクトが単一のインスタンスに誤って割り当てられることが頻繁にある。 本稿では,この問題を緩和するために,観測シーンの3次元形状に関する情報を利用することを実証する。我々は,RGB画像と深度マップを別々のネットワークブランチで入力として処理し,結果として得られる特徴マップを後期融合方式で融合させる,パン光学分割のためのCNNベースの新しい手法を提案する。 さらに,カメラとの距離の差に基づいて,画素を同一の物体に割り当てる深度認識ダイス損失項を提案する。 Cityscapes データセットを用いて行った実験により,提案手法は誤って1つのオブジェクトにマージされたオブジェクトの数を削減し,パン光学的品質の点で2.2%の精度で使用するメソッドを性能的に上回ることを示した。

関連論文リスト

• GP-NeRF: Generalized Perception NeRF for Context-Aware 3D Scene Understanding [101.32590239809113]
  Generalized Perception NeRF (GP-NeRF) は、広く使われているセグメンテーションモデルとNeRFを統一されたフレームワークで相互に動作させる新しいパイプラインである。 本稿では,セマンティック蒸留損失(Semantic Distill Loss)とDepth-Guided Semantic Distill Loss(Depth-Guided Semantic Distill Loss)という2つの自己蒸留機構を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:59:41Z)
• Variable Radiance Field for Real-Life Category-Specifc Reconstruction from Single Image [27.290232027686237]
  本稿では,カメラパラメータが未知の単一画像からカテゴリ固有のオブジェクトを再構成できる新しいフレームワークを提案する。 マルチスケールグローバル特徴抽出器を用いてオブジェクトの形状と外観をパラメータ化する。 また,特徴抽出器の改良のために,コントラスト学習に基づく事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-08T12:12:02Z)
• Semantic Validation in Structure from Motion [0.0]
  Structure from Motion (SfM) は、一連の投影計測からシーンの3次元構造を復元する過程である。 SfMは、特徴検出とマッチング、カメラモーション推定、および3D構造の回復の3つの主要なステップから構成される。 このプロジェクトは3次元SfMモデルの検証を改善するための新しい方法を提供する。
  論文  参考訳（メタデータ） (2023-04-05T12:58:59Z)
• A Generalist Framework for Panoptic Segmentation of Images and Videos [61.61453194912186]
  我々は,タスクの帰納バイアスに頼ることなく,離散的なデータ生成問題としてパノプティクスセグメンテーションを定式化する。 単純な構造と一般的な損失関数を持つパノスコープマスクをモデル化するための拡散モデルを提案する。 本手法は,動画を(ストリーミング環境で)モデル化し,オブジェクトのインスタンスを自動的に追跡することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-12T16:18:25Z)
• Self-Supervised Video Object Segmentation via Cutout Prediction and Tagging [117.73967303377381]
  本稿では, 自己教師型ビデオオブジェクト(VOS)アプローチを提案する。 本手法は,対象情報と背景情報の両方を考慮した識別学習損失の定式化に基づく。 提案手法であるCT-VOSは, DAVIS-2017 と Youtube-VOS の2つの挑戦的なベンチマークにおいて,最先端の結果を達成している。
  論文  参考訳（メタデータ） (2022-04-22T17:53:27Z)
• Dense Semantic Contrast for Self-Supervised Visual Representation Learning [12.636783522731392]
  意味圏決定境界を密度の高いレベルでモデル化するためのDense Semantic Contrast(DSC)を提案する。 本稿では,多粒度表現学習のためのクロスイメージ・セマンティック・コントラッシブ・ラーニング・フレームワークを提案する。 実験結果から,DSCモデルは下流の高密度予測タスクに転送する場合に,最先端の手法よりも優れることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:04:05Z)
• SegmentMeIfYouCan: A Benchmark for Anomaly Segmentation [111.61261419566908]
  ディープニューラルネットワーク(DNN)は通常、閉集合のセマンティッククラスで訓練される。 未発見のオブジェクトを扱うには不備だ。 このような物体の検出と局在化は、自動運転の認識などの安全クリティカルなアプリケーションに不可欠です。
  論文  参考訳（メタデータ） (2021-04-30T07:58:19Z)
• Rethinking of the Image Salient Object Detection: Object-level Semantic Saliency Re-ranking First, Pixel-wise Saliency Refinement Latter [62.26677215668959]
  本稿では,意味的に有意な領域を粗い位置で特定する,軽量で教師付きの深層ネットワークを提案する。 次に,これらセマンティック・サリエント領域の深層モデルを画素ワイド・サリエンシ改善として融合する。 提案手法は単純だが有効であり,本手法は主眼をオブジェクトレベルのセマンティック・リグレード問題とみなすための最初の試みである。
  論文  参考訳（メタデータ） (2020-08-10T07:12:43Z)
• Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
  2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。 オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。 提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2020-07-03T21:53:46Z)
• SDOD:Real-time Segmenting and Detecting 3D Object by Depth [5.97602869680438]
  本稿では,3次元物体を奥行きで分割・検出するリアルタイムフレームワークを提案する。 オブジェクトの深さを深度カテゴリに分類し、インスタンス分割タスクをピクセルレベルの分類タスクに変換する。 挑戦的なKITTIデータセットの実験から、我々のアプローチはLklNetを約1.8倍の性能で、セグメンテーションと3D検出の速度を上回ります。
  論文  参考訳（メタデータ） (2020-01-26T09:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。