論文の概要: Geometry-Aware Sparse Depth Sampling for High-Fidelity RGB-D Depth Completion in Robotic Systems
- arxiv url: http://arxiv.org/abs/2512.08229v1
- Date: Tue, 09 Dec 2025 04:14:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-10 22:28:07.806947
- Title: Geometry-Aware Sparse Depth Sampling for High-Fidelity RGB-D Depth Completion in Robotic Systems
- Title(参考訳): ロボットシステムにおける高忠実度RGB-D深度完了のための幾何学的スパースサンプリング
- Authors: Tony Salloom, Dandi Zhou, Xinhai Sun,
- Abstract要約: RGB-Dとステレオビジョンセンサーは、操作、検査、ナビゲーションを行う産業用ロボットシステムに広く使われている。
現在の深度補完法は、センサの限界と環境条件によりノイズ、不完全、あるいは偏りのある深度マップを生成する。
そこで本研究では,RGB-D点クラウド上でのPCAに基づく表面正規分布推定を利用して,画素毎の深度信頼性を算出した正規誘導型スパースサンプリング手法を提案する。
実験により、我々の幾何学的認識されたスパース深度は精度を向上し、エッジや不連続に近いアーティファクトを削減し、より現実的なトレーニング条件を生成することが示された。
- 参考スコア(独自算出の注目度): 0.20999222360659608
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate three-dimensional perception is essential for modern industrial robotic systems that perform manipulation, inspection, and navigation tasks. RGB-D and stereo vision sensors are widely used for this purpose, but the depth maps they produce are often noisy, incomplete, or biased due to sensor limitations and environmental conditions. Depth completion methods aim to generate dense, reliable depth maps from RGB images and sparse depth input. However, a key limitation in current depth completion pipelines is the unrealistic generation of sparse depth: sparse pixels are typically selected uniformly at random from dense ground-truth depth, ignoring the fact that real sensors exhibit geometry-dependent and spatially nonuniform reliability. In this work, we propose a normal-guided sparse depth sampling strategy that leverages PCA-based surface normal estimation on the RGB-D point cloud to compute a per-pixel depth reliability measure. The sparse depth samples are then drawn according to this reliability distribution. We integrate this sampling method with the Marigold-DC diffusion-based depth completion model and evaluate it on NYU Depth v2 using the standard metrics. Experiments show that our geometry-aware sparse depth improves accuracy, reduces artifacts near edges and discontinuities, and produces more realistic training conditions that better reflect real sensor behavior.
- Abstract(参考訳): 正確な3次元認識は、操作、検査、ナビゲーションを行う現代の産業ロボットシステムにとって不可欠である。
RGB-Dとステレオビジョンセンサーは、この目的のために広く使われているが、それらが生成する深度マップは、しばしばノイズ、不完全、あるいはセンサーの制限と環境条件のためにバイアスを受けている。
深度補完法は,RGB画像とスパース深度入力から高密度で信頼性の高い深度マップを生成することを目的としている。
しかし、現在の深度補完パイプラインにおける重要な制限はスパース深度の非現実的な生成である: スパースピクセルは、通常、密度の深い地下深度からランダムに選択され、実際のセンサーが幾何学的および空間的に不均一な信頼性を示すという事実を無視している。
そこで本研究では,RGB-D点雲上でのPCAに基づく表面正規分布推定を利用して,画素毎の深度信頼度を算出し,正規誘導型スパース深度サンプリング手法を提案する。
そして、この信頼性分布に応じてスパース深度サンプルを描画する。
本稿では,このサンプリング手法をマリゴールドDC拡散法に基づく深度補完モデルと統合し,標準指標を用いてNYU深度v2で評価する。
実験により、我々の幾何学的認識されたスパース深度は精度を向上し、エッジや不連続に近いアーティファクトを削減し、実際のセンサーの振る舞いをより良く反映するより現実的なトレーニング条件を生成することが示された。
関連論文リスト
- FreqPDE: Rethinking Positional Depth Embedding for Multi-View 3D Object Detection Transformers [91.59069344768858]
周波数対応位置深度埋め込み (FreqPDE) を導入し, 空間情報と2次元画像特徴を付加して3次元検出変換器デコーダを提案する。
FreqPDEは2D画像特徴と3D位置埋め込みを組み合わせることで、クエリデコーディングのための3D深度認識機能を生成する。
論文 参考訳(メタデータ) (2025-10-17T07:36:54Z) - Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion [57.08169927189237]
奥行き完了のための既存の手法は、厳密に制約された設定で動作する。
単眼深度推定の進歩に触発されて,画像条件の深度マップ生成として深度補完を再構成した。
Marigold-DCは、単分子深度推定のための事前訓練された潜伏拡散モデルを構築し、試験時間ガイダンスとして深度観測を注入する。
論文 参考訳(メタデータ) (2024-12-18T00:06:41Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳(メタデータ) (2024-04-05T17:55:33Z) - RDFC-GAN: RGB-Depth Fusion CycleGAN for Indoor Depth Completion [28.634851863097953]
本稿では,RDFC-GANという2分岐のエンドツーエンド核融合ネットワークを提案する。
RGBと不完全な深度画像のペアを入力として、密集した深度マップを予測する。
第1分枝は、マンハッタン世界の仮定に固執することにより、エンコーダ・デコーダ構造を用いる。
もう一方のブランチでは、RGBイメージを詳細なテクスチャ化された深度マップに変換するのに適したRGB深度融合CycleGANが適用されている。
論文 参考訳(メタデータ) (2023-06-06T11:03:05Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳(メタデータ) (2023-06-01T06:35:59Z) - RGB-Depth Fusion GAN for Indoor Depth Completion [29.938869342958125]
本稿では,RGBと不完全深度画像のペアを入力として,高密度で完成度の高い深度マップを推定する,新しい2分岐エンドツーエンド融合ネットワークを設計する。
あるブランチでは、RGB画像を微細なテクスチャ化深度マップに転送するRGB深度融合GANを提案する。
他方のブランチでは、W-AdaINという名前の適応核融合モジュールを採用し、2つのブランチにまたがる特徴を伝播させます。
論文 参考訳(メタデータ) (2022-03-21T10:26:38Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳(メタデータ) (2022-03-09T17:20:18Z) - Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。
評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
論文 参考訳(メタデータ) (2021-12-10T13:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。