論文の概要: Next-Best-View Prediction for Active Stereo Cameras and Highly
Reflective Objects
- arxiv url: http://arxiv.org/abs/2202.13263v1
- Date: Sun, 27 Feb 2022 01:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 17:09:08.927312
- Title: Next-Best-View Prediction for Active Stereo Cameras and Highly
Reflective Objects
- Title(参考訳): アクティブステレオカメラと高反射物体の次回のベストビュー予測
- Authors: Jun Yang and Steven L. Waslander
- Abstract要約: 反射物体の深度データを完成させるためのカメラ視点を戦略的に選択する次世代ビューフレームワークを提案する。
我々は既存のデータから現在のポーズ予測を得るためにRGBベースのポーズ推定器を用いる。
我々の能動深度取得法は,2つの強いベースラインを上回り,深度完成度とオブジェクトポーズ推定性能を両立させる。
- 参考スコア(独自算出の注目度): 12.21992378133376
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Depth acquisition with the active stereo camera is a challenging task for
highly reflective objects. When setup permits, multi-view fusion can provide
increased levels of depth completion. However, due to the slow acquisition
speed of high-end active stereo cameras, collecting a large number of
viewpoints for a single scene is generally not practical. In this work, we
propose a next-best-view framework to strategically select camera viewpoints
for completing depth data on reflective objects. In particular, we explicitly
model the specular reflection of reflective surfaces based on the Phong
reflection model and a photometric response function. Given the object CAD
model and grayscale image, we employ an RGB-based pose estimator to obtain
current pose predictions from the existing data, which is used to form
predicted surface normal and depth hypotheses, and allows us to then assess the
information gain from a subsequent frame for any candidate viewpoint. Using
this formulation, we implement an active perception pipeline which is evaluated
on a challenging real-world dataset. The evaluation results demonstrate that
our active depth acquisition method outperforms two strong baselines for both
depth completion and object pose estimation performance.
- Abstract(参考訳): アクティブステレオカメラによる深度取得は、高い反射率を持つオブジェクトにとって難しい課題である。
セットアップが許可されると、マルチビューの融合により深度が向上する。
しかし、ハイエンドのアクティブステレオカメラの獲得速度が遅いため、単一のシーンで多数の視点を集めることは一般的には現実的ではない。
本研究では,反射物体の深度データを完成させるためのカメラ視点を戦略的に選択する次世代視点フレームワークを提案する。
特に,フォン反射モデルと測光応答関数に基づいて反射面のスペクトル反射を明示的にモデル化する。
オブジェクトCADモデルとグレースケール画像から、既存のデータから現在のポーズ予測を得るためにRGBベースのポーズ推定器を用い、予測された表面の正規性や深さの仮説を定式化し、任意の候補視点でその後のフレームから得られる情報を評価する。
この定式化を用いて,実世界の難解なデータセット上で評価するアクティブセンシングパイプラインを実装した。
評価結果から,本手法は深度推定性能とオブジェクトポーズ推定性能の両面において,2つの強いベースラインよりも優れていることが示された。
関連論文リスト
- Self-supervised Monocular Depth Estimation on Water Scenes via Specular Reflection Prior [3.2120448116996103]
本論文は,フレーム内事前情報を用いた深層学習深度推定のための最初のセルフスーパービジョンを提案する。
第1段階では、反射成分と全体像とを分離する分水ネットワークが実行される。
SmoothL1と新しい光度適応型SSIMを組み合わせた光度再投影誤差を定式化し、ポーズと深さの推定を最適化する。
論文 参考訳(メタデータ) (2024-04-10T17:25:42Z) - Instance-aware Multi-Camera 3D Object Detection with Structural Priors
Mining and Self-Boosting Learning [93.71280187657831]
カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。
画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
論文 参考訳(メタデータ) (2023-12-13T09:24:42Z) - MV-ROPE: Multi-view Constraints for Robust Category-level Object Pose and Size Estimation [23.615122326731115]
本稿では,RGBビデオストリームを利用した新しいソリューションを提案する。
本フレームワークは,スケール対応単分子高密度SLAMソリューション,軽量オブジェクトポーズ予測器,オブジェクトレベルのポーズグラフの3つのモジュールから構成される。
提案手法は,高精細度情報を用いた公開データセットを用いた場合,最先端のRGB-D手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-08-17T08:29:54Z) - StereoPose: Category-Level 6D Transparent Object Pose Estimation from
Stereo Images via Back-View NOCS [106.62225866064313]
本稿では,カテゴリレベルのオブジェクトポーズ推定のためのステレオ画像フレームワークであるStereoPoseを紹介する。
純粋なステレオ画像からロバストな推定を行うため、カテゴリレベルのポーズ推定をオブジェクトサイズ推定、初期ポーズ推定、ポーズ修正に分解するパイプラインを開発する。
画像コンテンツエイリアス化の問題に対処するために、透明なオブジェクトに対するバックビューNOCSマップを定義する。
バックビューNOCSは、コンテンツエイリアスによるネットワーク学習のあいまいさを低減し、透明オブジェクトの背面にある情報的手がかりを利用してより正確なポーズ推定を行うことを目的としている。
論文 参考訳(メタデータ) (2022-11-03T08:36:09Z) - Uncertainty Guided Depth Fusion for Spike Camera [49.41822923588663]
スパイクカメラのための単分子およびステレオ深度推定ネットワークの予測を融合させる新しい不確かさ誘導深度融合(UGDF)フレームワークを提案する。
我々のフレームワークは、ステレオスパイク深さ推定がより近い範囲でより良い結果をもたらすという事実に動機づけられている。
従来のカメラ深度推定よりもスパイク深度推定の利点を示すため、我々はCitySpike20Kというスパイク深度データセットに貢献する。
論文 参考訳(メタデータ) (2022-08-26T13:04:01Z) - PhoCaL: A Multi-Modal Dataset for Category-Level Object Pose Estimation
with Photometrically Challenging Objects [45.31344700263873]
我々は、PhoCaLと呼ばれる光度に挑戦するオブジェクトを用いたカテゴリレベルのオブジェクトポーズ推定のためのマルチモーダルデータセットを提案する。
PhoCaLは、高い反射率、透明度、対称度を含む8種類以上の家庭用品の60種類の高品質な3Dモデルで構成されている。
これにより、不透明で光沢のある透明な物体のポーズのサブミリ秒精度が保証され、動きのぼやけも無く、カメラの同期も完璧になる。
論文 参考訳(メタデータ) (2022-05-18T09:21:09Z) - Object Level Depth Reconstruction for Category Level 6D Object Pose
Estimation From Monocular RGB Image [12.382992538846896]
本稿では,RGB画像のみをカテゴリレベルの6Dオブジェクトポーズ推定の入力として用いたオブジェクトレベル深さ再構成ネットワーク(OLD-Net)を提案する。
本稿では,一眼レフ画像からオブジェクトレベルの深度と標準NOCS表現に先立ってカテゴリレベルの形状を変形させることにより,オブジェクトレベルの深度を直接予測する。
挑戦的なCAMERA25とREAL275データセットの実験は、我々のモデルが最先端のパフォーマンスを達成することを示している。
論文 参考訳(メタデータ) (2022-04-04T15:33:28Z) - DONet: Learning Category-Level 6D Object Pose and Size Estimation from
Depth Observation [53.55300278592281]
単一深度画像からカテゴリレベルの6次元オブジェクト・ポースとサイズ推定(COPSE)を提案する。
筆者らのフレームワークは,深度チャネルのみの物体のリッチな幾何学的情報に基づいて推論を行う。
我々のフレームワークは、ラベル付き現実世界の画像を必要とする最先端のアプローチと競合する。
論文 参考訳(メタデータ) (2021-06-27T10:41:50Z) - Robust Consistent Video Depth Estimation [65.53308117778361]
本稿では,単眼映像からカメラのカメラポーズと密集した深度マップを推定するアルゴリズムを提案する。
本手法は,(1)低周波大規模アライメントのためのフレキシブルな変形-スプラインと(2)細部奥行き詳細の高周波アライメントのための幾何認識深度フィルタリングとを組み合わせた手法である。
従来の手法とは対照的に, カメラのポーズを入力として必要とせず, かなりの音量, 揺動, 動きのぼやき, 転がりシャッター変形を含む携帯のハンドヘルドキャプチャに頑健な再構成を実現する。
論文 参考訳(メタデータ) (2020-12-10T18:59:48Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。