論文の概要: Living Scenes: Multi-object Relocalization and Reconstruction in
Changing 3D Environments
- arxiv url: http://arxiv.org/abs/2312.09138v1
- Date: Thu, 14 Dec 2023 17:09:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-15 20:52:23.129968
- Title: Living Scenes: Multi-object Relocalization and Reconstruction in
Changing 3D Environments
- Title(参考訳): リビングシーン:3次元環境変化における多物体再局在化と再構成
- Authors: Liyuan Zhu and Shengyu Huang and Konrad Schindler and Iro Armeni
- Abstract要約: MoREは進化する環境における多目的再局在と再構成のための新しいアプローチである。
これらの環境を「生きたシーン」とみなし、異なる時点のスキャンをオブジェクトインスタンスの3次元再構成に変換する問題について考察する。
- 参考スコア(独自算出の注目度): 22.82134469199347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Research into dynamic 3D scene understanding has primarily focused on
short-term change tracking from dense observations, while little attention has
been paid to long-term changes with sparse observations. We address this gap
with MoRE, a novel approach for multi-object relocalization and reconstruction
in evolving environments. We view these environments as "living scenes" and
consider the problem of transforming scans taken at different points in time
into a 3D reconstruction of the object instances, whose accuracy and
completeness increase over time. At the core of our method lies an
SE(3)-equivariant representation in a single encoder-decoder network, trained
on synthetic data. This representation enables us to seamlessly tackle instance
matching, registration, and reconstruction. We also introduce a joint
optimization algorithm that facilitates the accumulation of point clouds
originating from the same instance across multiple scans taken at different
points in time. We validate our method on synthetic and real-world data and
demonstrate state-of-the-art performance in both end-to-end performance and
individual subtasks.
- Abstract(参考訳): 動的3Dシーン理解の研究は、主に密集した観測から短期的な変化追跡に焦点が当てられているが、スパース観測による長期的変化にはほとんど注目されていない。
このギャップを、進化する環境における多目的再局在化と再構成のための新しいアプローチであるMoREで解決する。
これらの環境を「生活シーン」として捉え,異なる地点で撮影されたスキャンを,時間とともに精度と完全性が増大する物体インスタンスの3次元再構築に転換する問題を考える。
本手法のコアとなるのは, 合成データに基づいて訓練された単一エンコーダデコーダネットワークにおけるSE(3)-等価表現である。
この表現により、インスタンスマッチング、登録、再構築をシームレスに行うことができます。
また,同じインスタンスから発生した点雲の蓄積を,異なる時点の複数のスキャンで容易に行えるような共同最適化アルゴリズムを導入する。
本手法を総合的および実世界のデータで検証し、エンドツーエンド性能と個々のサブタスクの両方において最先端の性能を示す。
関連論文リスト
- Geometry-Biased Transformer for Robust Multi-View 3D Human Pose
Reconstruction [3.069335774032178]
マルチビュー2次元ポーズシーケンスから3次元ポーズを推定するエンコーダ・デコーダ変換アーキテクチャを提案する。
我々は、Human3.6M、CMU Panoptic、Occlusion-Personsの3つのベンチマーク公開データセットで実験を行った。
論文 参考訳(メタデータ) (2023-12-28T16:30:05Z) - ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳(メタデータ) (2023-11-29T20:30:18Z) - Spatial-Temporal Enhanced Transformer Towards Multi-Frame 3D Object
Detection [59.03596380773798]
我々は、DETRのようなパラダイムに基づいた、多フレーム3Dオブジェクト検出のための新しいエンドツーエンドフレームワークであるSTEMDを提案する。
具体的には、オブジェクト間の空間的相互作用と複雑な時間的依存をモデル化するために、空間的時間的グラフアテンションネットワークを導入する。
我々は,計算オーバーヘッドをわずかに加えるだけで,難解なシナリオに対処する手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-07-01T13:53:14Z) - Robust Change Detection Based on Neural Descriptor Fields [53.111397800478294]
我々は、部分的に重なり合う観測結果とノイズのある局所化結果に頑健なオブジェクトレベルのオンライン変化検出手法を開発した。
形状符号の類似性を利用して物体を連想させ, 局所的な物体近傍の空間配置を比較することにより, 観測重複や局所雑音に対する頑健性を示す。
論文 参考訳(メタデータ) (2022-08-01T17:45:36Z) - Object Scene Representation Transformer [56.40544849442227]
オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。
OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。
光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
論文 参考訳(メタデータ) (2022-06-14T15:40:47Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳(メタデータ) (2020-10-26T15:31:52Z) - RDCNet: Instance segmentation with a minimalist recurrent residual
network [0.14999444543328289]
我々は、リカレント拡張畳み込みネットワーク(RDCNet)と呼ばれる最小限のリカレントネットワークを提案する。
RDCNetは、その出力を反復的に洗練し、解釈可能な中間予測を生成する共有スタック拡張畳み込み(sSDC)層で構成されている。
我々は,H&Eスライドの核セグメンテーション,光シート蛍光顕微鏡による3次元異方性スタック,およびトップビュー画像の葉セグメンテーションの3つのタスクに対して,その汎用性を実証した。
論文 参考訳(メタデータ) (2020-10-02T13:36:45Z) - Spatial Semantic Embedding Network: Fast 3D Instance Segmentation with
Deep Metric Learning [5.699350798684963]
ディープラーニングを用いた3次元インスタンスセグメンテーションのための,単純かつ効率的なアルゴリズムを提案する。
大規模シーンからの高レベルのインテリジェントなタスクに対して、3Dインスタンスセグメンテーションはオブジェクトの個々のインスタンスを認識する。
我々は,ScanNet 3D インスタンス分割ベンチマークにおいて,我々のアルゴリズムの最先端性能をAPスコアで示す。
論文 参考訳(メタデータ) (2020-07-07T02:17:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。