論文の概要: PointRecon: Online Point-based 3D Reconstruction via Ray-based 2D-3D Matching
- arxiv url: http://arxiv.org/abs/2410.23245v1
- Date: Wed, 30 Oct 2024 17:29:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-31 14:27:25.514251
- Title: PointRecon: Online Point-based 3D Reconstruction via Ray-based 2D-3D Matching
- Title(参考訳): PointRecon: レイベース2D-3Dマッチングによるオンラインポイントベース3D再構成
- Authors: Chen Ziwen, Zexiang Xu, Li Fuxin,
- Abstract要約: 単眼RGBビデオからオンラインのポイントベース3D再構成手法を提案する。
我々のモデルは、シーンのグローバルなポイントクラウド表現を維持し、新しい画像が観察されるにつれて、特徴とポイントの3D位置を継続的に更新する。
ScanNetデータセットを用いた実験により,オンラインMVS手法の最先端品質を実現することができた。
- 参考スコア(独自算出の注目度): 10.5792547614413
- License:
- Abstract: We propose a novel online, point-based 3D reconstruction method from posed monocular RGB videos. Our model maintains a global point cloud representation of the scene, continuously updating the features and 3D locations of points as new images are observed. It expands the point cloud with newly detected points while carefully removing redundancies. The point cloud updates and depth predictions for new points are achieved through a novel ray-based 2D-3D feature matching technique, which is robust against errors in previous point position predictions. In contrast to offline methods, our approach processes infinite-length sequences and provides real-time updates. Additionally, the point cloud imposes no pre-defined resolution or scene size constraints, and its unified global representation ensures view consistency across perspectives. Experiments on the ScanNet dataset show that our method achieves state-of-the-art quality among online MVS approaches. Project page: https://arthurhero.github.io/projects/pointrecon
- Abstract(参考訳): 単眼RGBビデオからオンラインのポイントベース3D再構成手法を提案する。
我々のモデルは、シーンのグローバルなポイントクラウド表現を維持し、新しい画像が観察されるにつれて、特徴とポイントの3D位置を継続的に更新する。
新たに検出されたポイントで点雲を拡大し、冗長性を慎重に除去する。
新しい点に対する点雲の更新と深度予測は、従来の点位置予測の誤差に対して頑健な2D-3D特徴マッチング技術によって達成される。
オフライン手法とは対照的に、我々のアプローチは無限長のシーケンスを処理し、リアルタイム更新を提供する。
さらに、ポイントクラウドは事前に定義された解像度やシーンサイズの制約を課さず、その統一されたグローバル表現により、視点間のビュー一貫性が保証される。
ScanNetデータセットを用いた実験により,オンラインMVS手法の最先端品質を実現することができた。
プロジェクトページ:https://arthurhero.github.io/projects/pointrecon
関連論文リスト
- Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion [53.93172686610741]
Cross-PCCは3次元完全点雲を必要としない教師なしの点雲補完法である。
2次元画像の相補的な情報を活用するために,単視点RGB画像を用いて2次元特徴を抽出する。
我々の手法は、いくつかの教師付き手法に匹敵する性能を達成できる。
論文 参考訳(メタデータ) (2022-12-01T15:11:21Z) - Learning A Locally Unified 3D Point Cloud for View Synthesis [45.757280092357355]
ソースビューから局所的に統一された3Dポイントクラウドを学習する深層学習に基づくビュー合成パラダイムを提案する。
3つのベンチマークデータセットによる実験結果から,提案手法は平均PSNRを4dB以上改善できることが示された。
論文 参考訳(メタデータ) (2022-09-12T04:07:34Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳(メタデータ) (2022-05-05T17:59:55Z) - From Multi-View to Hollow-3D: Hallucinated Hollow-3D R-CNN for 3D Object
Detection [101.20784125067559]
本稿では,3次元物体検出の問題に対処するため,Halucinated Hollow-3D R-CNNという新しいアーキテクチャを提案する。
本稿では,まず,視点ビューと鳥眼ビューに点雲を逐次投影することで,多視点特徴を抽出する。
3Dオブジェクトは、新しい階層型Voxel RoIプール操作でボックスリファインメントモジュールを介して検出される。
論文 参考訳(メタデータ) (2021-07-30T02:00:06Z) - How Privacy-Preserving are Line Clouds? Recovering Scene Details from 3D
Lines [49.06411148698547]
本稿では,3次元シーン形状に関する情報がライン雲に保存されていることを示す。
我々のアプローチは、直線間の最接近点が元の3d点に良い近似をもたらすという観測に基づいている。
論文 参考訳(メタデータ) (2021-03-08T21:32:43Z) - ParaNet: Deep Regular Representation for 3D Point Clouds [62.81379889095186]
ParaNetは、3Dポイントクラウドを表現するための新しいエンドツーエンドのディープラーニングフレームワークである。
不規則な3D点雲を通常の2Dカラー画像に変換する。
多視点投影とボキセル化に基づく従来の正規表現法とは異なり、提案した表現は微分可能で可逆である。
論文 参考訳(メタデータ) (2020-12-05T13:19:55Z) - RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction [19.535169371240073]
本稿では,高密度物体表面を直接点雲から検出・再構成するRfD-Netを提案する。
インスタンス再構成を大域的オブジェクトローカライゼーションと局所形状予測に分離する。
我々のアプローチは、オブジェクト再構成において、最先端の技術を一貫して上回り、メッシュIoUの11以上を改善します。
論文 参考訳(メタデータ) (2020-11-30T12:58:05Z) - GRNet: Gridding Residual Network for Dense Point Cloud Completion [54.43648460932248]
完全な3Dポイントクラウドを不完全なクラウドから推定することは、多くのビジョンやロボティクスアプリケーションにおいて重要な問題である。
本稿では,ポイントクラウド補完のための新しいGridding Residual Network(GRNet)を提案する。
実験結果から,提案したGRNetはShapeNet,Completion3D,KITTIベンチマークの最先端手法に対して良好に動作することがわかった。
論文 参考訳(メタデータ) (2020-06-06T02:46:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。