論文の概要: Robust Bayesian Scene Reconstruction by Leveraging Retrieval-Augmented Priors
- arxiv url: http://arxiv.org/abs/2411.19461v2
- Date: Sun, 08 Dec 2024 01:04:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:47:56.421608
- Title: Robust Bayesian Scene Reconstruction by Leveraging Retrieval-Augmented Priors
- Title（参考訳）: Retrieval-Augmented Priors を用いたロバストベイズシーンの再構成
- Authors: Herbert Wright, Weiming Zhi, Matthew Johnson-Roberson, Tucker Hermans,
- Abstract要約: オブジェクト幾何学の3D表現を構築することは、多くの下流ロボティクスタスクにとって重要である。
本研究では,1枚のRGBD画像から多目的シーンを再構成する問題に焦点をあてる。
本稿では、既存のメッシュデータセットを利用して情報的事前構築を行う再構成手法BRRPを提案する。
- 参考スコア（独自算出の注目度）: 17.05305897044699
- License:
- Abstract: Constructing 3D representations of object geometry is critical for many downstream robotics tasks, particularly tabletop manipulation problems. These representations must be built from potentially noisy partial observations. In this work, we focus on the problem of reconstructing a multi-object scene from a single RGBD image, generally from a fixed camera in the scene. Traditional scene representation methods generally cannot infer the geometry of unobserved regions of the objects from the image. Attempts have been made to leverage deep learning to train on a dataset of observed objects and representations, and then generalize to new observations. However, this can be brittle to noisy real-world observations and objects not contained in the dataset, and cannot reason about their confidence. We propose BRRP, a reconstruction method that leverages preexisting mesh datasets to build an informative prior during robust probabilistic reconstruction. In order to make our method more efficient, we introduce the concept of retrieval-augmented prior, where we retrieve relevant components of our prior distribution during inference. The prior is used to estimate the geometry of occluded portions of the in-scene objects. Our method produces a distribution over object shape that can be used for reconstruction or measuring uncertainty. We evaluate our method in both simulated scenes and in the real world. We demonstrate the robustness of our method against deep learning-only approaches while being more accurate than a method without an informative prior.
- Abstract（参考訳）: 物体形状の3次元表現を構成することは、下流ロボット作業、特にテーブルトップ操作問題において重要である。
これらの表現は、潜在的にノイズのある部分的な観測から構築されなければならない。
本研究では,1枚のRGBD画像から,一般的にはシーン内の固定カメラから複数物体シーンを再構成する問題に焦点をあてる。
従来のシーン表現法では、画像から対象物の未観測領域の幾何学を推測することはできない。
ディープラーニングを活用して、観測対象と表現のデータセットをトレーニングし、新しい観察に一般化する試みがなされている。
しかし、これは、データセットに含まれていない現実の観測やオブジェクトに難航し、その信頼性を判断できない。
本稿では,既存のメッシュデータセットを活用して,頑健な確率的再構成を行うBRRPを提案する。
提案手法をより効率的にするため,提案手法では,事前分布の関連成分を推論中に検索する検索拡張前の概念を導入している。
前者は、シーン内オブジェクトの隠蔽部分の幾何を推定するために使用される。
本手法は, 復元や不確実性の測定に使用できる物体形状の分布を生成する。
本手法は実世界のシミュレートされた場面と実世界の双方で評価する。
本手法の深層学習のみのアプローチに対する堅牢性を示すとともに,事前情報のない手法よりも精度が高いことを示す。
関連論文リスト
- ObjectCarver: Semi-automatic segmentation, reconstruction and separation of 3D objects [44.38881095466177]
複数の画像から3次元表面を再構成する際、暗黙の神経磁場は顕著な進歩を遂げた。
これまでの研究は、署名された距離フィールドを個別に訓練するフレームワークを導入して、この問題に対処しようと試みてきた。
一つのビューで単に入力をクリックすることからオブジェクト分離の問題に取り組むために、ObjectCarverというメソッドを導入します。
論文 参考訳（メタデータ） (2024-07-26T22:13:20Z) - ICGNet: A Unified Approach for Instance-Centric Grasping [42.92991092305974]
オブジェクト中心の把握のためのエンドツーエンドアーキテクチャを導入する。
提案手法の有効性を,合成データセット上での最先端手法に対して広範囲に評価することにより示す。
論文 参考訳（メタデータ） (2024-01-18T12:41:41Z) - Multi-view 3D Object Reconstruction and Uncertainty Modelling with
Neural Shape Prior [9.716201630968433]
セマンティックシーン理解には3次元オブジェクト再構成が重要である。
奥行き情報,閉塞音,ノイズの欠如により,単眼画像から詳細な3次元形状を復元することは困難である。
本研究では,3次元オブジェクトモデルの大規模データセットから物体形状分布を学習し,潜在空間にマッピングするニューラルオブジェクト表現を活用することで,この問題に対処する。
本稿では,その表現の一部として不確実性をモデル化し,個々の入力画像から直接不確実性コードを生成する不確実性認識エンコーダを定義する手法を提案する。
論文 参考訳（メタデータ） (2023-06-17T03:25:13Z) - BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown
Objects [89.2314092102403]
モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。
視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
論文 参考訳（メタデータ） (2023-03-24T17:13:49Z) - Reconstructing Hand-Held Objects from Monocular Video [95.06750686508315]
本稿では,モノクロ映像から手持ち物体を再構成する手法を提案する。
トレーニングされたネットワークによってオブジェクトの幾何学を直接予測する最近の多くの手法とは対照的に、提案手法ではオブジェクトに先行する学習を一切必要としない。
論文 参考訳（メタデータ） (2022-11-30T09:14:58Z) - LocPoseNet: Robust Location Prior for Unseen Object Pose Estimation [69.70498875887611]
LocPoseNetは、見えないオブジェクトに先立って、ロバストにロケーションを学習することができる。
提案手法は,LINEMOD と GenMOP において,既存の作業よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-29T15:21:34Z) - Holistic 3D Scene Understanding from a Single Image with Implicit
Representation [112.40630836979273]
単一の画像から全体的3Dシーン理解のための新しいパイプラインを提示する。
画像に基づく局所構造化暗黙ネットワークを提案し,物体形状推定を改善する。
また,新たな暗黙的なシーングラフニューラルネットワークを用いて3dオブジェクトのポーズとシーンレイアウトを洗練する。
論文 参考訳（メタデータ） (2021-03-11T02:52:46Z) - Next-best-view Regression using a 3D Convolutional Neural Network [0.9449650062296823]
本論文では,次のベストビュー問題に対するデータ駆動アプローチを提案する。
提案手法は、次のベストビューのbtxtpositionを抑えるために、以前の再構成で3D畳み込みニューラルネットワークを訓練する。
提案手法を2つの実験グループを用いて検証した。
論文 参考訳（メタデータ） (2021-01-23T01:50:26Z) - Learning to Recover 3D Scene Shape from a Single Image [98.20106822614392]
まず,未知のスケールまで深さを予測し,単一の単眼画像からシフトする2段階フレームワークを提案する。
そして、3dポイントクラウドエンコーダを使って深度シフトと焦点距離を予測し、リアルな3dシーンの形状を復元します。
論文 参考訳（メタデータ） (2020-12-17T02:35:13Z) - Single View Metrology in the Wild [94.7005246862618]
本研究では,物体の3次元の高さや地上のカメラの高さで表現されるシーンの絶対的なスケールを再現する,単一ビューメロジに対する新しいアプローチを提案する。
本手法は,被写体の高さなどの3Dエンティティによる未知のカメラとの相互作用から,弱い教師付き制約を抑えるために設計されたディープネットワークによって学習されたデータ駆動の先行情報に依存する。
いくつかのデータセットと仮想オブジェクト挿入を含むアプリケーションに対して、最先端の定性的かつ定量的な結果を示す。
論文 参考訳（メタデータ） (2020-07-18T22:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。