論文の概要: Online 3D Scene Reconstruction Using Neural Object Priors
- arxiv url: http://arxiv.org/abs/2503.18897v1
- Date: Mon, 24 Mar 2025 17:09:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 14:34:02.774834
- Title: Online 3D Scene Reconstruction Using Neural Object Priors
- Title(参考訳): ニューラルオブジェクトを用いたオンライン3次元シーン再構成
- Authors: Thomas Chabal, Shizhe Chen, Jean Ponce, Cordelia Schmid,
- Abstract要約: 本稿では,RGB-Dビデオシーケンスが与えられたオブジェクトのレベルにおいて,オンラインでシーンを再構成する問題に対処する。
本稿では,新しい対象部品が明らかになれば,オブジェクト中心の暗黙表現を継続的に更新する特徴グリッド機構を提案する。
提案手法は, 再建精度と完全性の観点から, 最先端のニューラル暗黙モデルより優れている。
- 参考スコア(独自算出の注目度): 83.14204014687938
- License:
- Abstract: This paper addresses the problem of reconstructing a scene online at the level of objects given an RGB-D video sequence. While current object-aware neural implicit representations hold promise, they are limited in online reconstruction efficiency and shape completion. Our main contributions to alleviate the above limitations are twofold. First, we propose a feature grid interpolation mechanism to continuously update grid-based object-centric neural implicit representations as new object parts are revealed. Second, we construct an object library with previously mapped objects in advance and leverage the corresponding shape priors to initialize geometric object models in new videos, subsequently completing them with novel views as well as synthesized past views to avoid losing original object details. Extensive experiments on synthetic environments from the Replica dataset, real-world ScanNet sequences and videos captured in our laboratory demonstrate that our approach outperforms state-of-the-art neural implicit models for this task in terms of reconstruction accuracy and completeness.
- Abstract(参考訳): 本稿では,RGB-Dビデオシーケンスが与えられたオブジェクトのレベルにおいて,オンラインでシーンを再構成する問題に対処する。
現在のオブジェクト認識型ニューラルな暗黙の表現は約束を守るが、オンラインの再構成効率と形状の完成度には制限がある。
上記の制限を緩和するための主な貢献は2つです。
まず,新しい対象が明らかにされるにつれて,グリッドに基づくオブジェクト中心の暗黙的表現を継続的に更新する特徴グリッド補間機構を提案する。
第2に、予めマッピングされたオブジェクトを事前に構築し、対応する形状の事前を利用して、新しいビデオで幾何学的オブジェクトモデルを初期化し、その後、新しいビューで完成させ、元のオブジェクトの詳細を失うのを避けるために過去のビューを合成する。
我々の研究室で撮影されたReplicaデータセット、実世界のScanNetシークエンス、ビデオからの合成環境に関する大規模な実験は、我々のアプローチが再現精度と完全性の観点から、このタスクの最先端のニューラル暗黙的モデルより優れていることを実証している。
関連論文リスト
- Gaussian Object Carver: Object-Compositional Gaussian Splatting with surfaces completion [16.379647695019308]
3Dシーンの再構築はコンピュータビジョンの基本的な問題である。
本稿では,Gaussian Object Carver (GOC)を紹介した。
GOCは、高品質で柔軟な再構築を実現するために、モノクラー幾何学の先行と多視点幾何学の正規化に富んだ3Dガウススプラッティング(GS)を利用する。
論文 参考訳(メタデータ) (2024-12-03T01:34:39Z) - Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。
提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。
提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
論文 参考訳(メタデータ) (2024-03-28T11:12:33Z) - ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces [40.489487738598825]
近年,多視点3次元再構成のパラダイムとして神経暗黙的表面再構成が注目されている。
以前の作業では、ObjectSDFは、オブジェクト合成ニューラルな暗黙の面の優れたフレームワークを導入しました。
我々はObjectSDF++と呼ばれる新しいフレームワークを提案し、ObjectSDFの限界を克服する。
論文 参考訳(メタデータ) (2023-08-15T16:35:40Z) - Single-view 3D Mesh Reconstruction for Seen and Unseen Categories [69.29406107513621]
シングルビュー3Dメッシュ再構成は、シングルビューRGB画像から3D形状を復元することを目的とした、基本的なコンピュータビジョンタスクである。
本稿では,一視点3Dメッシュ再構成に取り組み,未知のカテゴリのモデル一般化について検討する。
我々は、再構築におけるカテゴリ境界を断ち切るために、エンドツーエンドの2段階ネットワークであるGenMeshを提案する。
論文 参考訳(メタデータ) (2022-08-04T14:13:35Z) - Learnable Triangulation for Deep Learning-based 3D Reconstruction of
Objects of Arbitrary Topology from Single RGB Images [12.693545159861857]
モノクロ画像から3次元物体を再構成する深層強化学習手法を提案する。
提案手法は, 視覚的品質, 再構成精度, 計算時間において, 最先端技術よりも優れる。
論文 参考訳(メタデータ) (2021-09-24T09:44:22Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。
再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。
本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
論文 参考訳(メタデータ) (2021-03-30T17:57:01Z) - Next-best-view Regression using a 3D Convolutional Neural Network [0.9449650062296823]
本論文では,次のベストビュー問題に対するデータ駆動アプローチを提案する。
提案手法は、次のベストビューのbtxtpositionを抑えるために、以前の再構成で3D畳み込みニューラルネットワークを訓練する。
提案手法を2つの実験グループを用いて検証した。
論文 参考訳(メタデータ) (2021-01-23T01:50:26Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳(メタデータ) (2021-01-18T03:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。