論文の概要: Uncertainty-Driven Active Vision for Implicit Scene Reconstruction

• arxiv url: http://arxiv.org/abs/2210.00978v1
• Date: Mon, 3 Oct 2022 14:45:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:02:13.866091
• Title: Uncertainty-Driven Active Vision for Implicit Scene Reconstruction
• Title（参考訳）: 暗黙的シーン再構成のための不確実性駆動アクティブビジョン
• Authors: Edward J. Smith and Michal Drozdzal and Derek Nowrouzezahrai and David Meger and Adriana Romero-Soriano
• Abstract要約: 暗黙的なシーン再構成のための不確実性駆動型能動視覚アプローチを提案する。 本研究では,2次元または3次元の監督を用いて,シーンを正確に表現する占領型再構築手法を開発した。
• 参考スコア（独自算出の注目度）: 31.890470553111122
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-view implicit scene reconstruction methods have become increasingly popular due to their ability to represent complex scene details. Recent efforts have been devoted to improving the representation of input information and to reducing the number of views required to obtain high quality reconstructions. Yet, perhaps surprisingly, the study of which views to select to maximally improve scene understanding remains largely unexplored. We propose an uncertainty-driven active vision approach for implicit scene reconstruction, which leverages occupancy uncertainty accumulated across the scene using volume rendering to select the next view to acquire. To this end, we develop an occupancy-based reconstruction method which accurately represents scenes using either 2D or 3D supervision. We evaluate our proposed approach on the ABC dataset and the in the wild CO3D dataset, and show that: (1) we are able to obtain high quality state-of-the-art occupancy reconstructions; (2) our perspective conditioned uncertainty definition is effective to drive improvements in next best view selection and outperforms strong baseline approaches; and (3) we can further improve shape understanding by performing a gradient-based search on the view selection candidates. Overall, our results highlight the importance of view selection for implicit scene reconstruction, making it a promising avenue to explore further.
• Abstract（参考訳）: 複雑なシーンの詳細を表現できるため,多視点暗黙的シーン再構成手法が普及している。 近年、入力情報の表現の改善や、高品質な再構築に必要なビューの削減に力を入れている。 しかし、おそらく驚くことに、シーン理解を最大限に改善するためにどのビューを選択するかの研究は、ほとんど未調査のままである。 そこで本研究では,空間的不確実性を利用した暗黙的シーン再構成のための不確実性駆動型アクティブビジョン手法を提案する。 そこで本研究では,2次元もしくは3次元の監督を用いて,シーンを正確に表現する占領型再構築手法を開発した。 提案手法をabcデータセットとin the wild co3dデータセットで評価し,(1)高品質な最先端の占有者再構成が可能であり,(2)我々の視点条件付き不確実性定義は,次回のベストビュー選択における改善を促進させ,強力なベースラインアプローチを上回ること,(3)視点選択候補の勾配に基づく探索を行うことにより,形状理解をさらに向上できることを示した。 全体としては,暗黙的なシーン復元における視点選択の重要性が強調され,さらなる探索への有望な道筋となった。

関連論文リスト

• Frequency-based View Selection in Gaussian Splatting Reconstruction [9.603843571051744]
  入力画像の少ない3次元ガウススプラッティング再構成を行うためのアクティブビュー選択の問題について検討する。 周波数領域の潜在的なビューをランク付けすることで、新しい視点の潜在的な情報ゲインを効果的に推定することができる。 提案手法は,画像による3次元再構成を効果的に行う可能性を示し,ビュー選択の最先端性を実現する。
  論文  参考訳（メタデータ） (2024-09-24T21:44:26Z)
• PVP-Recon: Progressive View Planning via Warping Consistency for Sparse-View Surface Reconstruction [49.7580491592023]
  PVP-Recon, 新規かつ効果的なスパースビュー表面再構成法を提案する。 PVP-Reconは3つのビューで初期表面の再構築を開始し、徐々に新しいビューを追加する。 このプログレッシブビュー計画の進捗は、神経SDFベースの再構築モジュールによってインターリーブされる。
  論文  参考訳（メタデータ） (2024-09-09T10:06:34Z)
• MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References [49.71130133080821]
  MaRINeRは、近くのマッピング画像の情報を活用して、ターゲット視点のレンダリングを改善する方法である。 暗黙のシーン表現と暗黙のシーン表現の両方から、定量的な指標と定性的な例のレンダリングの改善を示す。
  論文  参考訳（メタデータ） (2024-07-18T17:50:03Z)
• Semantic-aware Next-Best-View for Multi-DoFs Mobile System in Search-and-Acquisition based Visual Perception [20.480581428768854]
  可視性ゲインとセマンティックゲインの両方を統一形式で統合した新しい情報ゲインを定式化し、セマンティック・アウェアのNext-Best-Viewを選択する。 提案手法の性能を評価するために, 視点指向性や関心領域(ROI)-完全再構成ボリューム比など, 意味論的に関連するいくつかの再現指標を紹介した。
  論文  参考訳（メタデータ） (2024-04-25T11:01:40Z)
• Autonomous Implicit Indoor Scene Reconstruction with Frontier Exploration [10.975244524831696]
  暗黙の神経表現は3Dシーンの再構築に有意な可能性を証明している。 最近の研究は、Next Best View (NBV) ベースの手法により、自律的な暗黙的再構築に応用を拡大している。 本研究では,表層不確実性に基づく再構築作業にフロンティアベースの探索タスクを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-04-16T01:59:03Z)
• Reusable Architecture Growth for Continual Stereo Matching [92.36221737921274]
  我々は、教師付きおよび自己監督型の両方で、新しいシーンを継続的に学習するための、再利用可能なアーキテクチャ成長(RAG)フレームワークを紹介します。 RAGは、前のユニットを再利用し、良好な性能を得ることにより、成長中の高い再利用性を維持することができる。 また、推論時にシーン固有のアーキテクチャパスを適応的に選択するScene Routerモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-30T13:24:58Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• Neural Radiance Field Codebooks [53.01356339021285]
  我々は、オブジェクト指向表現を学習するためのスケーラブルな方法であるNeural Radiance Field Codebooks (NRC)を紹介する。 NRCは、ボリューム再構成によってデコードされたオブジェクトコードの辞書を使用して、新しいビューからシーンを再構築することを学ぶ。 NRC表現は、THORのオブジェクトナビゲーションによく対応し、2Dおよび3D表現学習法を3.1%の成功率で上回ることを示す。
  論文  参考訳（メタデータ） (2023-01-10T18:03:48Z)
• NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction [64.36535692191343]
  暗黙の神経表現はオフラインの3D再構成において魅力的な結果を示しており、オンラインSLAMシステムの可能性も最近示している。 本論文は,1)新しい表現に基づく視点計画の質を評価するための基準を求めること,2)手作りではなく,異なる場面に一般化可能なデータから基準を学習すること,の2つの課題に対処する。 本手法は, TSDFを用いた変形モデルやビュープランニングなしでの再構成モデルと比較した場合, レンダリングされた画像品質と再構成された3次元モデルの幾何学的品質について, 様々な指標について有意な改善を示す。
  論文  参考訳（メタデータ） (2022-07-22T10:05:36Z)
• 3D-NVS: A 3D Supervision Approach for Next View Selection [22.662440687566587]
  次のベストビュー選択のための分類に基づくアプローチを提案する。 我々は、このタスクの監督信号をどのように確実に取得できるかを示す。
  論文  参考訳（メタデータ） (2020-12-03T07:50:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。