論文の概要: Uncertainty-Driven Active Vision for Implicit Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2210.00978v1
- Date: Mon, 3 Oct 2022 14:45:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 16:02:13.866091
- Title: Uncertainty-Driven Active Vision for Implicit Scene Reconstruction
- Title(参考訳): 暗黙的シーン再構成のための不確実性駆動アクティブビジョン
- Authors: Edward J. Smith and Michal Drozdzal and Derek Nowrouzezahrai and David
Meger and Adriana Romero-Soriano
- Abstract要約: 暗黙的なシーン再構成のための不確実性駆動型能動視覚アプローチを提案する。
本研究では,2次元または3次元の監督を用いて,シーンを正確に表現する占領型再構築手法を開発した。
- 参考スコア(独自算出の注目度): 31.890470553111122
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Multi-view implicit scene reconstruction methods have become increasingly
popular due to their ability to represent complex scene details. Recent efforts
have been devoted to improving the representation of input information and to
reducing the number of views required to obtain high quality reconstructions.
Yet, perhaps surprisingly, the study of which views to select to maximally
improve scene understanding remains largely unexplored. We propose an
uncertainty-driven active vision approach for implicit scene reconstruction,
which leverages occupancy uncertainty accumulated across the scene using volume
rendering to select the next view to acquire. To this end, we develop an
occupancy-based reconstruction method which accurately represents scenes using
either 2D or 3D supervision. We evaluate our proposed approach on the ABC
dataset and the in the wild CO3D dataset, and show that: (1) we are able to
obtain high quality state-of-the-art occupancy reconstructions; (2) our
perspective conditioned uncertainty definition is effective to drive
improvements in next best view selection and outperforms strong baseline
approaches; and (3) we can further improve shape understanding by performing a
gradient-based search on the view selection candidates. Overall, our results
highlight the importance of view selection for implicit scene reconstruction,
making it a promising avenue to explore further.
- Abstract(参考訳): 複雑なシーンの詳細を表現できるため,多視点暗黙的シーン再構成手法が普及している。
近年、入力情報の表現の改善や、高品質な再構築に必要なビューの削減に力を入れている。
しかし、おそらく驚くことに、シーン理解を最大限に改善するためにどのビューを選択するかの研究は、ほとんど未調査のままである。
そこで本研究では,空間的不確実性を利用した暗黙的シーン再構成のための不確実性駆動型アクティブビジョン手法を提案する。
そこで本研究では,2次元もしくは3次元の監督を用いて,シーンを正確に表現する占領型再構築手法を開発した。
提案手法をabcデータセットとin the wild co3dデータセットで評価し,(1)高品質な最先端の占有者再構成が可能であり,(2)我々の視点条件付き不確実性定義は,次回のベストビュー選択における改善を促進させ,強力なベースラインアプローチを上回ること,(3)視点選択候補の勾配に基づく探索を行うことにより,形状理解をさらに向上できることを示した。
全体としては,暗黙的なシーン復元における視点選択の重要性が強調され,さらなる探索への有望な道筋となった。
関連論文リスト
- Range-Agnostic Multi-View Depth Estimation With Keyframe Selection [33.99466211478322]
提案したフレームから3次元再構成を行うには,シーン距離範囲に関する事前知識が必要である。
RAMDepthは、深さ推定とマッチングステップの順序を反転させる、効率的で純粋に2Dフレームワークである。
論文 参考訳(メタデータ) (2024-01-25T18:59:42Z) - 360 Layout Estimation via Orthogonal Planes Disentanglement and
Multi-view Geometric Consistency Perception [60.23832277827669]
既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元する傾向がある。
水平深度と比表現に適した教師なし適応手法を提案する。
また,決定レベルのレイアウト解析のための最適化手法と,特徴レベルのマルチビューアグリゲーションのための1次元コストボリューム構築手法も導入する。
論文 参考訳(メタデータ) (2023-12-26T12:16:03Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳(メタデータ) (2023-12-19T03:39:56Z) - OccNeRF: Self-Supervised Multi-Camera Occupancy Prediction with Neural
Radiance Fields [80.35807140179736]
自己監督型マルチカメラ占有率予測のためのOccNeRF法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成する。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳(メタデータ) (2023-12-14T18:58:52Z) - Bag of Views: An Appearance-based Approach to Next-Best-View Planning
for 3D Reconstruction [3.637651065605852]
Bag-of-Views (BoV) は、キャプチャされたビューにユーティリティを割り当てるのに使用される、完全な外観ベースのモデルである。
View Planning Toolbox(VPT)は、機械学習ベースのビュープランニングフレームワークのトレーニングとテストのための軽量パッケージである。
論文 参考訳(メタデータ) (2023-07-11T22:56:55Z) - Neural Radiance Field Codebooks [53.01356339021285]
我々は、オブジェクト指向表現を学習するためのスケーラブルな方法であるNeural Radiance Field Codebooks (NRC)を紹介する。
NRCは、ボリューム再構成によってデコードされたオブジェクトコードの辞書を使用して、新しいビューからシーンを再構築することを学ぶ。
NRC表現は、THORのオブジェクトナビゲーションによく対応し、2Dおよび3D表現学習法を3.1%の成功率で上回ることを示す。
論文 参考訳(メタデータ) (2023-01-10T18:03:48Z) - MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with
Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。
本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。
マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
論文 参考訳(メタデータ) (2022-12-20T01:53:40Z) - NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction [64.36535692191343]
暗黙の神経表現はオフラインの3D再構成において魅力的な結果を示しており、オンラインSLAMシステムの可能性も最近示している。
本論文は,1)新しい表現に基づく視点計画の質を評価するための基準を求めること,2)手作りではなく,異なる場面に一般化可能なデータから基準を学習すること,の2つの課題に対処する。
本手法は, TSDFを用いた変形モデルやビュープランニングなしでの再構成モデルと比較した場合, レンダリングされた画像品質と再構成された3次元モデルの幾何学的品質について, 様々な指標について有意な改善を示す。
論文 参考訳(メタデータ) (2022-07-22T10:05:36Z) - 3D-NVS: A 3D Supervision Approach for Next View Selection [22.662440687566587]
次のベストビュー選択のための分類に基づくアプローチを提案する。
我々は、このタスクの監督信号をどのように確実に取得できるかを示す。
論文 参考訳(メタデータ) (2020-12-03T07:50:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。