論文の概要: Multi-view 3D Object Reconstruction and Uncertainty Modelling with Neural Shape Prior

• arxiv url: http://arxiv.org/abs/2306.11739v2
• Date: Mon, 6 Nov 2023 06:59:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 21:49:57.265755
• Title: Multi-view 3D Object Reconstruction and Uncertainty Modelling with Neural Shape Prior
• Title（参考訳）: ニューラルネットワークを用いた多視点3次元物体再構成と不確かさモデリング
• Authors: Ziwei Liao, Steven L. Waslander
• Abstract要約: セマンティックシーン理解には3次元オブジェクト再構成が重要である。 奥行き情報,閉塞音,ノイズの欠如により,単眼画像から詳細な3次元形状を復元することは困難である。 本研究では,3次元オブジェクトモデルの大規模データセットから物体形状分布を学習し,潜在空間にマッピングするニューラルオブジェクト表現を活用することで,この問題に対処する。 本稿では,その表現の一部として不確実性をモデル化し,個々の入力画像から直接不確実性コードを生成する不確実性認識エンコーダを定義する手法を提案する。
• 参考スコア（独自算出の注目度）: 9.716201630968433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D object reconstruction is important for semantic scene understanding. It is challenging to reconstruct detailed 3D shapes from monocular images directly due to a lack of depth information, occlusion and noise. Most current methods generate deterministic object models without any awareness of the uncertainty of the reconstruction. We tackle this problem by leveraging a neural object representation which learns an object shape distribution from large dataset of 3d object models and maps it into a latent space. We propose a method to model uncertainty as part of the representation and define an uncertainty-aware encoder which generates latent codes with uncertainty directly from individual input images. Further, we propose a method to propagate the uncertainty in the latent code to SDF values and generate a 3d object mesh with local uncertainty for each mesh component. Finally, we propose an incremental fusion method under a Bayesian framework to fuse the latent codes from multi-view observations. We evaluate the system in both synthetic and real datasets to demonstrate the effectiveness of uncertainty-based fusion to improve 3D object reconstruction accuracy.
• Abstract（参考訳）: セマンティックシーン理解には3次元オブジェクト再構成が重要である。 深度情報や咬合,騒音の欠如から,単眼画像から詳細な3次元形状を再構成することは困難である。 現在の手法のほとんどは、再構成の不確かさを意識せずに決定論的対象モデルを生成する。 本研究では,3dオブジェクトモデルの大規模データセットから物体形状分布を学習し,それを潜在空間にマッピングするニューラルオブジェクト表現を用いてこの問題に取り組む。 本稿では,その表現の一部として不確実性をモデル化し,個々の入力画像から直接不確実性コードを生成する不確実性認識エンコーダを定義する手法を提案する。 さらに,潜時符号の不確かさをSDF値に伝達し,各メッシュコンポーネントに対して局所的不確実性を持つ3次元オブジェクトメッシュを生成する手法を提案する。 最後に,マルチビュー観測から潜在コードを融合するためのベイズフレームワークによるインクリメンタル融合法を提案する。 本研究では,合成データと実データの両方でシステムを評価し,不確実性に基づく融合の有効性を実証し,3次元オブジェクトの再構成精度を向上させる。

関連論文リスト

• Uncertainty-aware 3D Object-Level Mapping with Deep Shape Priors [15.34487368683311]
  未知のオブジェクトに対して高品質なオブジェクトレベルマップを再構築するフレームワークを提案する。 提案手法では,複数のRGB-D画像を入力として,高密度な3次元形状と検出対象に対する9-DoFポーズを出力する。 2つの新たな損失関数を通して形状を伝播し不確実性を生じさせる確率的定式化を導出する。
  論文  参考訳（メタデータ） (2023-09-17T00:48:19Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• Uncertainty Guided Policy for Active Robotic 3D Reconstruction using Neural Radiance Fields [82.21033337949757]
  本稿では,物体の暗黙のニューラル表現の各光線に沿ったカラーサンプルの重量分布のエントロピーを計算した線量不確実性推定器を提案する。 提案した推定器を用いた新しい視点から, 基礎となる3次元形状の不確かさを推測することが可能であることを示す。 ニューラルラディアンス場に基づく表現における線量不確実性によって導かれる次ベクター選択ポリシーを提案する。
  論文  参考訳（メタデータ） (2022-09-17T21:28:57Z)
• Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection [70.71934539556916]
  射影モデルを用いて幾何学誘導深度推定を学習し, モノクル3次元物体検出を推し進める。 具体的には,モノクロ3次元物体検出ネットワークにおける2次元および3次元深度予測の投影モデルを用いた原理的幾何式を考案した。 本手法は, 適度なテスト設定において, 余分なデータを2.80%も加えることなく, 最先端単分子法の検出性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-07-29T12:30:39Z)
• MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation [4.202461384355329]
  我々は,高密度な対応や幾何学を自己教師型で学習する,新しい3次元オブジェクト検出フレームワークMonoRUnを提案する。 提案手法は,KITTIベンチマークの最先端手法より優れている。
  論文  参考訳（メタデータ） (2021-03-23T15:03:08Z)
• Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
  コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。 最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。 しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。 本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
  論文  参考訳（メタデータ） (2021-01-18T03:24:48Z)
• From Points to Multi-Object 3D Reconstruction [71.17445805257196]
  単一のRGB画像から複数の3Dオブジェクトを検出し再構成する方法を提案する。 キーポイント検出器は、オブジェクトを中心点としてローカライズし、9-DoF境界ボックスや3D形状を含む全てのオブジェクト特性を直接予測する。 提示されたアプローチは、軽量な再構築を単一ステージで実行し、リアルタイム能力を持ち、完全に微分可能で、エンドツーエンドのトレーナーブルである。
  論文  参考訳（メタデータ） (2020-12-21T18:52:21Z)
• Monocular Differentiable Rendering for Self-Supervised 3D Object Detection [21.825158925459732]
  単分子画像からの3次元物体検出は、深さとスケールの射影的絡み合いにより不適切な問題である。 テクスチャ化された3次元形状の再構成と剛体物体のポーズ推定のための新しい自己教師手法を提案する。 本手法は,画像中の物体の3次元位置とメッシュを,異なるレンダリングと自己教師対象を用いて予測する。
  論文  参考訳（メタデータ） (2020-09-30T09:21:43Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)
• Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation [62.618227434286]
  RGB-D画像から見えないオブジェクトの6Dポーズとサイズを復元する新しい学習手法を提案する。 本研究では,事前学習したカテゴリ形状からの変形を明示的にモデル化することにより,3次元オブジェクトモデルを再構築するディープネットワークを提案する。
  論文  参考訳（メタデータ） (2020-07-16T16:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。