論文の概要: SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion

• arxiv url: http://arxiv.org/abs/2010.13662v3
• Date: Wed, 31 Mar 2021 08:03:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 17:55:10.888152
• Title: SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion
• Title（参考訳）: SCFusion:Semantic Completionを用いたリアルタイムインクリメンタルシーン再構築
• Authors: Shun-Cheng Wu, Keisuke Tateno, Nassir Navab and Federico Tombari
• Abstract要約: 本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。 我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
• 参考スコア（独自算出の注目度）: 86.77318031029404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-time scene reconstruction from depth data inevitably suffers from occlusion, thus leading to incomplete 3D models. Partial reconstructions, in turn, limit the performance of algorithms that leverage them for applications in the context of, e.g., augmented reality, robotic navigation, and 3D mapping. Most methods address this issue by predicting the missing geometry as an offline optimization, thus being incompatible with real-time applications. We propose a framework that ameliorates this issue by performing scene reconstruction and semantic scene completion jointly in an incremental and real-time manner, based on an input sequence of depth maps. Our framework relies on a novel neural architecture designed to process occupancy maps and leverages voxel states to accurately and efficiently fuse semantic completion with the 3D global model. We evaluate the proposed approach quantitatively and qualitatively, demonstrating that our method can obtain accurate 3D semantic scene completion in real-time.
• Abstract（参考訳）: 深度データからのリアルタイムシーン復元は必然的に閉塞に苦しむため、不完全な3dモデルに繋がる。 部分再構成は、例えば拡張現実、ロボットナビゲーション、および3Dマッピングといったコンテキストにおいて、それらを活用するアルゴリズムのパフォーマンスを制限する。 ほとんどのメソッドは、オフライン最適化として欠落した幾何学を予測することによってこの問題に対処する。 深度マップの入力シーケンスに基づいて,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うことにより,この問題を改善するフレームワークを提案する。 私たちのフレームワークは、占有マップを処理するために設計された新しいニューラルアーキテクチャに依存しており、voxel状態を利用して、セマンティックコンプリートを3dグローバルモデルと正確かつ効率的に融合します。 提案手法を定量的かつ定性的に評価し,提案手法がリアルタイムに正確な3Dセマンティックシーンを再現可能であることを示す。

関連論文リスト

• ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic Reconstruction [62.599588577671796]
  本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。 オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
  論文  参考訳（メタデータ） (2023-11-29T20:30:18Z)
• Volumetric Semantically Consistent 3D Panoptic Mapping [77.13446499924977]
  非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。 マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。 提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
  論文  参考訳（メタデータ） (2023-09-26T08:03:10Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Incremental 3D Semantic Scene Graph Prediction from RGB Sequences [86.77318031029404]
  RGB画像列が与えられたシーンの一貫性のある3Dセマンティックシーングラフをインクリメンタルに構築するリアルタイムフレームワークを提案する。 提案手法は,新たなインクリメンタルエンティティ推定パイプラインとシーングラフ予測ネットワークから構成される。 提案するネットワークは,シーンエンティティから抽出した多視点および幾何学的特徴を用いて,反復的メッセージパッシングを用いた3次元セマンティックシーングラフを推定する。
  論文  参考訳（メタデータ） (2023-05-04T11:32:16Z)
• Cross-Dimensional Refined Learning for Real-Time 3D Visual Perception from Monocular Video [2.2299983745857896]
  本稿では3次元シーンの幾何学的構造と意味的ラベルを協調的に知覚する新しいリアルタイム能動的学習法を提案する。 本稿では,3次元メッシュと3次元セマンティックラベリングの両方をリアルタイムに抽出する,エンドツーエンドのクロスディメンテーションニューラルネットワーク(CDRNet)を提案する。
  論文  参考訳（メタデータ） (2023-03-16T11:53:29Z)
• Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
  本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。 平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。 提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
  論文  参考訳（メタデータ） (2022-05-05T17:59:55Z)
• NeuralBlox: Real-Time Neural Representation Fusion for Robust Volumetric Mapping [29.3378360000956]
  本稿では,ニューラル暗黙表現の最近の進歩を活かした新しい3次元マッピング手法を提案する。 ニューラルな暗黙表現をインクリメンタルに構築し、更新するための融合戦略とトレーニングパイプラインを提案する。 インクリメンタルに構築された占有マップは,CPU上でもリアルタイムに取得可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-18T15:45:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。