論文の概要: Depth-aware Glass Surface Detection with Cross-modal Context Mining

• arxiv url: http://arxiv.org/abs/2206.11250v1
• Date: Wed, 22 Jun 2022 17:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 16:07:14.228487
• Title: Depth-aware Glass Surface Detection with Cross-modal Context Mining
• Title（参考訳）: クロスモーダルコンテキストマイニングによる奥行き認識ガラス表面検出
• Authors: Jiaying Lin and Yuen Hei Yeung and Rynson W.H. Lau
• Abstract要約: ガラスの表面は、現代の建物が多くのガラスパネルを使用する傾向にあるため、ますます広くなっている。 これは、ロボット、自動運転車、ドローンなどの自律システムの運用に重大な課題をもたらす。 既存の作品は、ガラス境界のコンテキストや反射など、様々な手がかりを前者として活用しようと試みている。 RGB-D情報を取り入れたガラス表面検出のための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.091162729266294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Glass surfaces are becoming increasingly ubiquitous as modern buildings tend to use a lot of glass panels. This however poses substantial challenges on the operations of autonomous systems such as robots, self-driving cars and drones, as the glass panels can become transparent obstacles to the navigation.Existing works attempt to exploit various cues, including glass boundary context or reflections, as a prior. However, they are all based on input RGB images.We observe that the transmission of 3D depth sensor light through glass surfaces often produces blank regions in the depth maps, which can offer additional insights to complement the RGB image features for glass surface detection. In this paper, we propose a novel framework for glass surface detection by incorporating RGB-D information, with two novel modules: (1) a cross-modal context mining (CCM) module to adaptively learn individual and mutual context features from RGB and depth information, and (2) a depth-missing aware attention (DAA) module to explicitly exploit spatial locations where missing depths occur to help detect the presence of glass surfaces. In addition, we propose a large-scale RGB-D glass surface detection dataset, called \textit{RGB-D GSD}, for RGB-D glass surface detection. Our dataset comprises 3,009 real-world RGB-D glass surface images with precise annotations. Extensive experimental results show that our proposed model outperforms state-of-the-art methods.
• Abstract（参考訳）: 現代の建物ではガラスパネルが多用される傾向があるため、ガラスの表面はますます普及している。 しかし、このことは、ガラスパネルがナビゲーションの透明な障害になる可能性があるため、ロボットや自動運転車、ドローンなどの自律システムの運用に重大な課題をもたらす。 しかし,これらは全て入力されたRGB画像に基づいており,ガラス表面からの3次元奥行きセンサ光の透過は,深度マップ内の空白領域を発生することが多く,ガラス表面検出のためのRGB画像特徴を補完する新たな洞察を与えることができる。 本稿では,rgb-d情報を組み込んだ新しいガラス表面検出手法を提案する。(1)rgbと深度情報から個別および相互のコンテキスト特徴を適応的に学習するクロスモーダル・コンテキストマイニング(ccm)モジュール,(2)ガラス表面の存在を検出するために深さの欠落する空間的位置を明示的に活用する深さ許容認識注意(daa)モジュールの2つである。 さらに,RGB-D ガラス表面検出のための大規模 RGB-D ガラス表面検出データセットである \textit{RGB-D GSD} を提案する。 我々のデータセットは3,009個の実世界のRGB-Dガラス表面画像と正確なアノテーションからなる。 実験の結果,提案手法は最先端の手法よりも優れていた。

関連論文リスト

• 3DRef: 3D Dataset and Benchmark for Reflection Detection in RGB and Lidar Data [0.0]
  本稿では,マルチリターンライダー,RGB画像,および2D/3Dセマンティックラベルの5万以上のサンプルを含む,最初の大規模3D反射検出データセットを提案する。 提案したデータセットは, 高精度なグローバルアライメント, マルチモーダルデータ, 多様な反射物体や材料を備えた総合的なテストベッドを提供することにより, 反射検出を推し進める。
  論文  参考訳（メタデータ） (2024-03-11T09:29:44Z)
• RBF Weighted Hyper-Involution for RGB-D Object Detection [0.0]
  リアルタイムと2つのストリームRGBDオブジェクト検出モデルを提案する。 提案モデルでは, 深度誘導型ハイパーインボリューションを生深度マップの空間的相互作用パターンに基づいて動的に適応する深度誘導型ハイパーインボリューションと, アップサンプリングに基づくトレーニング可能な融合層からなる。 提案モデルは,NYU Depth v2データセットで他のRGB-Dベースオブジェクト検出モデルよりも優れており,SUN RGB-Dで比較した(第2位)結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-30T11:25:34Z)
• Large-Field Contextual Feature Learning for Glass Detection [44.222075782263175]
  ガラス表面を1枚のRGB画像から検出する重要な問題を提案する。 この問題に対処するため、我々は最初の大規模ガラス検出データセット(GDD)を構築した。 本稿では,GDNet-Bと呼ばれる新しいガラス検出ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-10T11:08:05Z)
• Mirror Complementary Transformer Network for RGB-thermal Salient Object Detection [16.64781797503128]
  RGB-熱的物体検出(RGB-T SOD)は、視光対と熱赤外画像対の一般的な顕著な物体を見つけることを目的としている。 本稿では,RGB-T SODのための新しいミラー補完トランスフォーマネットワーク(MCNet)を提案する。 ベンチマークとVT723データセットの実験により、提案手法は最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-07T20:26:09Z)
• Beyond Visual Field of View: Perceiving 3D Environment with Echoes and Vision [51.385731364529306]
  本稿では,エコーとRGB画像を用いた3次元環境の知覚とナビゲーションに焦点を当てた。 特に、複数の方向から受信したエコーでRGB画像を融合して深度推定を行う。 本稿では,RGB像を補完する3次元構造について,エコーが包括的かつ包括的情報を提供することを示す。
  論文  参考訳（メタデータ） (2022-07-03T22:31:47Z)
• GlassNet: Label Decoupling-based Three-stream Neural Network for Robust Image Glass Detection [1.1825946875790057]
  我々はラベルデカップリングを利用してラベル付き接地トラス(GT)マップを内部拡散マップと境界拡散マップに分解する。 新たに生成された2つの地図と協調したGTマップは、オブジェクト境界の不均衡分布を破り、ガラス検出品質が向上する。 マルチモーダル情報を統合するために,アテンションベースの境界認識機能であるMosaicモジュールを開発した。
  論文  参考訳（メタデータ） (2021-08-25T08:33:49Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• Enhanced Boundary Learning for Glass-like Object Segmentation [55.45473926510806]
  本稿では,拡張境界学習によるガラス状物体分割問題を解くことを目的とする。 特に,より微細な境界キューを生成するための改良された微分モジュールを最初に提案する。 境界に沿った大域的な形状表現をモデル化するために,エッジ対応のグラフ畳み込みネットワークモジュールを提案する。
  論文  参考訳（メタデータ） (2021-03-29T16:18:57Z)
• Is Depth Really Necessary for Salient Object Detection? [50.10888549190576]
  本稿では,RGB情報のみを推論の入力とする統合深度認識フレームワークの実現に向けた最初の試みを行う。 5つの公開RGB SODベンチマークの最先端のパフォーマンスを上回るだけでなく、5つのベンチマークのRGBDベースのメソッドを大きく上回っている。
  論文  参考訳（メタデータ） (2020-05-30T13:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。