Fugu-MT 論文翻訳(概要): SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects

論文の概要: SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects

arxiv url: http://arxiv.org/abs/2403.19607v1
Date: Thu, 28 Mar 2024 17:28:32 GMT
ステータス: 処理完了
システム内更新日: 2024-03-29 15:14:42.405955
Title: SAID-NeRF: Segmentation-AIDed NeRF for Depth Completion of Transparent Objects
Title（参考訳）: SAID-NeRF:透明物体の深さ補完のためのセグメンテーション型NeRF
Authors: Avinash Ummadisingu, Jongkeum Choi, Koki Yamane, Shimpei Masuda, Naoki Fukaya, Kuniyuki Takahashi,
Abstract要約: 市販のRGB-Dカメラを使って透明物体の正確な深度情報を取得することは、コンピュータビジョンとロボティクスにおいてよく知られた課題である。 NeRFは学習のないアプローチであり、新しいビューの合成と形状回復に広く成功している。提案したAID-NeRF法は,透明物体とロボットグルーピングのための深度補完データセットに有意な性能を示す。
参考スコア（独自算出の注目度）: 7.529049797077149
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Acquiring accurate depth information of transparent objects using off-the-shelf RGB-D cameras is a well-known challenge in Computer Vision and Robotics. Depth estimation/completion methods are typically employed and trained on datasets with quality depth labels acquired from either simulation, additional sensors or specialized data collection setups and known 3d models. However, acquiring reliable depth information for datasets at scale is not straightforward, limiting training scalability and generalization. Neural Radiance Fields (NeRFs) are learning-free approaches and have demonstrated wide success in novel view synthesis and shape recovery. However, heuristics and controlled environments (lights, backgrounds, etc) are often required to accurately capture specular surfaces. In this paper, we propose using Visual Foundation Models (VFMs) for segmentation in a zero-shot, label-free way to guide the NeRF reconstruction process for these objects via the simultaneous reconstruction of semantic fields and extensions to increase robustness. Our proposed method Segmentation-AIDed NeRF (SAID-NeRF) shows significant performance on depth completion datasets for transparent objects and robotic grasping.
Abstract（参考訳）: 市販のRGB-Dカメラを使って透明物体の正確な深度情報を取得することは、コンピュータビジョンとロボティクスにおいてよく知られた課題である。深さ推定/補完法は通常、シミュレーション、追加センサー、特別なデータ収集設定、既知の3dモデルから取得した品質の深さラベルを持つデータセットで採用・訓練される。しかし、大規模なデータセットの信頼性の高い深度情報を取得することは簡単ではなく、トレーニングのスケーラビリティと一般化を制限している。ニューラル・ラジアンス・フィールド(NeRF)は学習のないアプローチであり、新しいビュー合成と形状回復に広く成功している。しかし、ヒューリスティックスと制御された環境(光、背景など)は、しばしば特定の表面を正確に捉えるために必要である。本稿では,これらのオブジェクトに対するNeRF再構成プロセスを,セマンティックフィールドと拡張を同時に再構築することで,ロバスト性を高めるため,ゼロショットでラベルのない方法でセグメンテーションを行うためのVisual Foundation Models (VFM) を提案する。提案手法は,透明物体に対する深度補完データセットとロボットグルーピングにおいて有意な性能を示す。

関連論文リスト

ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
論文参考訳（メタデータ） (2024-09-13T15:44:38Z)
Enhanced Automotive Object Detection via RGB-D Fusion in a DiffusionDet Framework [0.0]
視覚に基づく自律走行には、信頼性と効率的な物体検出が必要である。本研究では、単眼カメラと深度センサからのデータ融合を利用してRGBと深度(RGB-D)データを提供するDiffusionDetベースのフレームワークを提案する。 RGB画像のテクスチャ特徴と色特徴とLiDARセンサの空間深度情報を統合することにより,自動車目標の物体検出を大幅に強化する特徴融合が提案されている。
論文参考訳（メタデータ） (2024-06-05T10:24:00Z)
IPoD: Implicit Field Learning with Point Diffusion for Generalizable 3D Object Reconstruction from Single RGB-D Images [50.4538089115248]
シングルビューRGB-D画像からの3Dオブジェクトの汎用化は依然として難しい課題である。本稿では,暗黙の場学習と点拡散を調和させる新しい手法IPoDを提案する。 CO3D-v2データセットによる実験では、IPoDの優位性が確認され、Fスコアは7.8%、チャンファー距離は28.6%向上した。
論文参考訳（メタデータ） (2024-03-30T07:17:37Z)
Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation [66.3814684757376]
本研究は,RGB 6Dのカテゴリレベルでのポーズ推定を向上するための拡散モデルに基づく新規ビュー合成器の実用性を示す最初の研究であるZero123-6Dを示す。本手法は,データ要求の低減,ゼロショットカテゴリレベルの6Dポーズ推定タスクにおける深度情報の必要性の除去,およびCO3Dデータセットの実験により定量的に示された性能の向上を示す。
論文参考訳（メタデータ） (2024-03-21T10:38:18Z)
Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
論文参考訳（メタデータ） (2024-03-07T00:00:02Z)
NeRF-Det++: Incorporating Semantic Cues and Perspective-aware Depth Supervision for Indoor Multi-View 3D Detection [72.0098999512727]
NeRF-Detは、NeRFを用いた屋内マルチビュー3次元検出において、表現学習の強化による優れた性能を実現している。セマンティックエンハンスメント(セマンティックエンハンスメント)、パースペクティブ・アウェア・サンプリング(パースペクティブ・アウェア・サンプリング)、および順序深度監視を含む3つのソリューションを提案する。結果として得られたアルゴリズムであるNeRF-Det++は、ScanNetV2とAR KITScenesデータセットで魅力的なパフォーマンスを示している。
論文参考訳（メタデータ） (2024-02-22T11:48:06Z)
Leveraging Neural Radiance Fields for Uncertainty-Aware Visual Localization [56.95046107046027]
我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
論文参考訳（メタデータ） (2023-10-10T20:11:13Z)
NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering [6.207117735825272]
人工物は、ロボットの知覚と操作にユニークな課題をもたらす。自由度の増加は、ローカライゼーションのようなタスクを計算的に困難にする。そこで我々は,音声の高品質なレンダリングを実現する手段として,NARF22(Neural Articulated Radiance Fields)を提案する。構成推定と6自由度ポーズ改善タスクによる勾配推定手法の適用性を示す。
論文参考訳（メタデータ） (2022-10-03T18:34:44Z)
Domain Randomization-Enhanced Depth Simulation and Restoration for Perceiving and Grasping Specular and Transparent Objects [28.84776177634971]
深度復元のための強力なRGBD融合ネットワークSwinDRNetを提案する。また,ドメインランダム化強化深度シミュレーション(DREDS)によるアクティブステレオ深度システムのシミュレーションも提案する。我々の深度復元は下流タスクの性能を効果的に向上させることを示す。
論文参考訳（メタデータ） (2022-08-07T19:17:16Z)
NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields [54.27264716713327]
シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
論文参考訳（メタデータ） (2022-03-03T18:49:57Z)
Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction [0.0]
この研究は、生成ニューラルネットワークの分野における最新の進歩を示し、それらを活用して完全に教師なしの単発深度合成を行う。 RGB-to-deepthとdeep-to-RGB転送用の2つのジェネレータを実装し,Wasserstein-1距離と新しい知覚再構成項を用いて同時に最適化した。本研究で得られた成果は、実世界のアプリケーションにおいて、教師なし単発深度推定の大きな可能性を示している。
論文参考訳（メタデータ） (2022-01-28T15:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。