論文の概要: Depth Matters: Exploring Deep Interactions of RGB-D for Semantic Segmentation in Traffic Scenes

• arxiv url: http://arxiv.org/abs/2409.07995v1
• Date: Thu, 12 Sep 2024 12:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-13 16:39:03.525692
• Title: Depth Matters: Exploring Deep Interactions of RGB-D for Semantic Segmentation in Traffic Scenes
• Title（参考訳）: 深度問題:交通場面におけるセマンティックセグメンテーションのためのRGB-Dの深い相互作用を探る
• Authors: Siyu Chen, Ting Han, Changshe Zhang, Weiquan Liu, Jinhe Su, Zongyue Wang, Guorong Cai,
• Abstract要約: 本研究では、深度の有効性を探求するために、新しい学習可能な深度相互作用ピラミッド変換器(DiPFormer)を提案する。 DiPFormerはKITTI(KITTI道路で97.57%Fスコア、KITTI-360で68.74%mIoU)とCityscapesデータセットで最先端のパフォーマンスを達成した。
• 参考スコア（独自算出の注目度）: 11.446541235218396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: RGB-D has gradually become a crucial data source for understanding complex scenes in assisted driving. However, existing studies have paid insufficient attention to the intrinsic spatial properties of depth maps. This oversight significantly impacts the attention representation, leading to prediction errors caused by attention shift issues. To this end, we propose a novel learnable Depth interaction Pyramid Transformer (DiPFormer) to explore the effectiveness of depth. Firstly, we introduce Depth Spatial-Aware Optimization (Depth SAO) as offset to represent real-world spatial relationships. Secondly, the similarity in the feature space of RGB-D is learned by Depth Linear Cross-Attention (Depth LCA) to clarify spatial differences at the pixel level. Finally, an MLP Decoder is utilized to effectively fuse multi-scale features for meeting real-time requirements. Comprehensive experiments demonstrate that the proposed DiPFormer significantly addresses the issue of attention misalignment in both road detection (+7.5%) and semantic segmentation (+4.9% / +1.5%) tasks. DiPFormer achieves state-of-the-art performance on the KITTI (97.57% F-score on KITTI road and 68.74% mIoU on KITTI-360) and Cityscapes (83.4% mIoU) datasets.
• Abstract（参考訳）: RGB-Dは、運転支援における複雑なシーンを理解するために、徐々に重要なデータソースになりつつある。 しかし,本研究は深度マップの内在的空間特性に十分注意を払っていない。 この監視はアテンション表現に大きな影響を与え、アテンションシフト問題に起因する予測エラーを引き起こす。 そこで本研究では,深度の有効性を探求するために,新しい学習可能な深度相互作用ピラミッド変換器(DiPFormer)を提案する。 まず,実世界の空間関係を表現するためのオフセットとして,Depth Spatial-Aware Optimization (Depth SAO)を導入する。 第二に、RGB-Dの特徴空間における類似性は、画素レベルの空間差を明らかにするために、深さ線形交差注意(Depth Linear Cross-Attention, DCA)によって学習される。 最後に、MLPデコーダを使用して、リアルタイム要件を満たすためのマルチスケール機能を効果的に融合する。 総合的な実験により、提案されたDiPFormerは、道路検出(+7.5%)とセマンティックセグメンテーション(+4.9% / +1.5%)の両方のタスクにおける注意欠陥の問題に対処している。 DiPFormer は KITTI (97.57% Fスコア、68.74% mIoU on KITTI-360) と Cityscapes (83.4% mIoU) のデータセットで最先端のパフォーマンスを達成した。

関連論文リスト

• PDDM: Pseudo Depth Diffusion Model for RGB-PD Semantic Segmentation Based in Complex Indoor Scenes [6.698379291727345]
  高精度深度推定アルゴリズムからの擬似深さ(PD)は、RGB-Dセンサやアライメントプロセスへの依存をなくすことができる。 PDはセマンティックセグメンテーションにおいて有意な潜在性を示した。 PDは複数の擬似深度写像を単一のモードに集約する。 PDは最先端のパフォーマンスを達成し、NYUv2では+6.98 mIoU、SUNRGB-Dでは+2.11 mIoUに勝る。
  論文  参考訳（メタデータ） (2025-03-24T07:05:31Z)
• Depth-Guided Semi-Supervised Instance Segmentation [62.80063539262021]
  Semi-Supervised Instance (SSIS)は、トレーニング中にラベルなしデータの量を活用することを目的としている。 従来のフレームワークは主に、ラベルなし画像のRGB情報を利用して擬似ラベルを生成する。 この制限を克服するために、Depth-Guided (DG)フレームワークを導入します。
  論文  参考訳（メタデータ） (2024-06-25T09:36:50Z)
• Transferring to Real-World Layouts: A Depth-aware Framework for Scene Adaptation [34.786268652516355]
  教師なしドメイン適応(UDA)によるシーンセグメンテーションは、ソース合成データから取得した知識を現実のターゲットデータに転送することを可能にする。 深度推定を明示的に活用してカテゴリを混合し,2つの補完的タスク,すなわちセグメンテーションと深度学習を促進するための奥行き認識フレームワークを提案する。 特に、このフレームワークには、DCF(Depth-guided Contextual Filter)フォーンデータ拡張と、コンテキスト学習のためのクロスタスクエンコーダが含まれている。
  論文  参考訳（メタデータ） (2023-11-21T15:39:21Z)
• Spatial-information Guided Adaptive Context-aware Network for Efficient RGB-D Semantic Segmentation [9.198120596225968]
  計算パラメータを削減し,アルゴリズムの堅牢性を保証する,効率的な軽量エンコーダデコーダネットワークを提案する。 また,NYUv2,SUN RGB-D,Cityscapesのデータセットを用いた実験結果から,本手法は最先端手法よりもセグメンテーション精度,推定時間,パラメータのトレードオフが良好であることが示された。
  論文  参考訳（メタデータ） (2023-08-11T09:02:03Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Pyramidal Attention for Saliency Detection [30.554118525502115]
  本稿では,RGB画像のみを活用し,RGBから深度を推定し,中間深度特性を利用する。 ピラミッド型アテンション構造を用いて,マルチレベル畳み込み変換器の特徴を抽出し,初期表現の処理を行う。 我々は8つのRGBおよびRGB-Dデータセット上で21と40の最先端SOD法に対する性能を著しく改善したことを報告した。
  論文  参考訳（メタデータ） (2022-04-14T06:57:46Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• RGB-D Salient Object Detection with Ubiquitous Target Awareness [37.6726410843724]
  我々は、新しい深度認識フレームワークを用いて、RGB-D有向物体検出問題を解くための最初の試みを行う。 本稿では,RGB-D SODタスクにおける3つの課題を解決するために,ユビキタスターゲット意識(UTA)ネットワークを提案する。 提案するUTAネットワークは深度フリーで,43FPSでリアルタイムに動作可能である。
  論文  参考訳（メタデータ） (2021-09-08T04:27:29Z)
• 3D Point-to-Keypoint Voting Network for 6D Pose Estimation [8.801404171357916]
  3次元キーポイントの空間構造特性に基づくRGB-Dデータから6次元ポーズ推定のためのフレームワークを提案する。 提案手法は, LINEMOD と OCCLUSION LINEMOD の2つのベンチマークデータセットで検証する。
  論文  参考訳（メタデータ） (2020-12-22T11:43:15Z)
• Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
  RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。 本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T04:33:36Z)
• Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
  深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。 既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。 本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
  論文  参考訳（メタデータ） (2020-07-17T18:35:24Z)
• Is Depth Really Necessary for Salient Object Detection? [50.10888549190576]
  本稿では,RGB情報のみを推論の入力とする統合深度認識フレームワークの実現に向けた最初の試みを行う。 5つの公開RGB SODベンチマークの最先端のパフォーマンスを上回るだけでなく、5つのベンチマークのRGBDベースのメソッドを大きく上回っている。
  論文  参考訳（メタデータ） (2020-05-30T13:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。