論文の概要: SceneFactory: A Workflow-centric and Unified Framework for Incremental Scene Modeling
- arxiv url: http://arxiv.org/abs/2405.07847v1
- Date: Mon, 13 May 2024 15:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 13:06:14.516557
- Title: SceneFactory: A Workflow-centric and Unified Framework for Incremental Scene Modeling
- Title（参考訳）: SceneFactory: インクリメンタルなシーンモデリングのためのワークフロー中心で統一されたフレームワーク
- Authors: Yijun Yuan, Michael Bleier, Andreas Nüchter,
- Abstract要約: SceneFactoryはインクリメンタルなシーンモデリングのための統合されたフレームワークである。
マルチビュー深度推定、LiDAR完了、RGB-D/RGB-L/Mono//Depth-only Restruction、SLAMなど、幅広いアプリケーションをサポートしている。
- 参考スコア（独自算出の注目度）: 0.40964539027092917
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present SceneFactory, a workflow-centric and unified framework for incremental scene modeling, that supports conveniently a wide range of applications, such as (unposed and/or uncalibrated) multi-view depth estimation, LiDAR completion, (dense) RGB-D/RGB-L/Mono//Depth-only reconstruction and SLAM. The workflow-centric design uses multiple blocks as the basis for building different production lines. The supported applications, i.e., productions avoid redundancy in their designs. Thus, the focus is on each block itself for independent expansion. To support all input combinations, our implementation consists of four building blocks in SceneFactory: (1) Mono-SLAM, (2) depth estimation, (3) flexion and (4) scene reconstruction. Furthermore, we propose an unposed & uncalibrated multi-view depth estimation model (U2-MVD) to estimate dense geometry. U2-MVD exploits dense bundle adjustment for solving for poses, intrinsics, and inverse depth. Then a semantic-awared ScaleCov step is introduced to complete the multi-view depth. Relying on U2-MVD, SceneFactory both supports user-friendly 3D creation (with just images) and bridges the applications of Dense RGB-D and Dense Mono. For high quality surface and color reconstruction, we propose due-purpose Multi-resolutional Neural Points (DM-NPs) for the first surface accessible Surface Color Field design, where we introduce Improved Point Rasterization (IPR) for point cloud based surface query. We implement and experiment with SceneFactory to demonstrate its broad practicability and high flexibility. Its quality also competes or exceeds the tightly-coupled state of the art approaches in all tasks. We contribute the code to the community (https://jarrome.github.io/).
- Abstract（参考訳）: ワークフロー中心で、インクリメンタルなシーンモデリングのための統合されたフレームワークであるSceneFactoryは、多視点深度推定、LiDAR完了、RGB-D/RGB-L/Mono/Depth-only Restruction、SLAMなど、幅広いアプリケーションに便利な機能を提供します。
ワークフロー中心の設計では、異なる生産ラインを構築するための基盤として、複数のブロックを使用している。
サポート対象のアプリケーション、すなわちプロダクションは設計の冗長性を避ける。
したがって、各ブロック自体が独立拡張のために焦点が当てられている。
すべての入力の組み合わせをサポートするため,SceneFactoryでは,(1)Mono-SLAM,(2)深さ推定,(3)反射,(4)シーン再構築の4つの構成要素で構成されている。
さらに,高密度な幾何を推定するための非定型かつ非定型な多視点深度推定モデル (U2-MVD) を提案する。
U2-MVDは、ポーズ、内在、逆深さの解決に高密度バンドル調整を利用する。
次に、セマンティックアウォードのScaleCovステップを導入して、マルチビューの深さを完了します。
U2-MVDをベースとして、SceneFactoryはユーザーフレンドリーな3D作成(画像のみ)をサポートし、Dense RGB-DとDense Monoのアプリケーションをブリッジする。
高品質な表面処理と色復元を行うため,第1表面可視表面色場設計のためのDM-NP(Duple-purpose Multi- resolutional Neural Points)を提案し,点クラウドに基づく表面探索のための改良点ラスタライズ(IPR)を導入した。
我々はSceneFactoryの実装と実験を行い、その幅広い実践性と高い柔軟性を実証した。
その品質は、あらゆるタスクにおいて、密に結合された最先端のアプローチと競合したり、超えたりします。
コードをコミュニティにコントリビュートする(https://jarrome.github.io/)。
関連論文リスト
- SceneX:Procedural Controllable Large-scale Scene Generation via Large-language Models [53.961002112433576]
本稿では,デザイナーのテキスト記述に従って高品質なプロシージャモデルを自動生成する大規模シーン生成フレームワークであるSceneXを紹介する。
私たちのSceneXは、微妙な幾何学的レイアウトと構造を持つ2.5km×2.5kmの都市を生成でき、プロのPCGエンジニアの数週間の時間を大幅に短縮して、普通のユーザにとっては数時間に過ぎません。
論文 参考訳（メタデータ） (2024-03-23T03:23:29Z) - Mask-adaptive Gated Convolution and Bi-directional Progressive Fusion
Network for Depth Completion [3.8558637038709622]
エンコーダ・デコーダ構造に基づく深度補完のための新しいモデルを提案する。
本モデルでは,マスク適応型Gated Convolutionアーキテクチャと双方向プログレッシブフュージョンモジュールの2つの重要なコンポーネントを紹介する。
深度マップの完成と既存手法の精度と信頼性に優れる性能を実現した。
論文 参考訳（メタデータ） (2024-01-15T02:58:06Z) - 360 Layout Estimation via Orthogonal Planes Disentanglement and Multi-view Geometric Consistency Perception [56.84921040837699]
既存のパノラマ配置推定ソリューションは、垂直圧縮されたシーケンスから部屋の境界を復元し、不正確な結果をもたらす傾向にある。
そこで本稿では,直交平面不整合ネットワーク(DOPNet)を提案し,あいまいな意味論を識別する。
また,水平深度と比表現に適した教師なし適応手法を提案する。
本手法は,単分子配置推定と多視点レイアウト推定の両タスクにおいて,他のSoTAモデルよりも優れる。
論文 参考訳（メタデータ） (2023-12-26T12:16:03Z) - Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal
Rearrangement [49.888011242939385]
本研究では,シーン内のオブジェクトを並べ替えて,所望のオブジェクトとシーンの配置関係を実現するシステムを提案する。
パイプラインは、新しいジオメトリ、ポーズ、シーンとオブジェクトのレイアウトに一般化される。
論文 参考訳（メタデータ） (2023-07-10T17:56:06Z) - C2F2NeUS: Cascade Cost Frustum Fusion for High Fidelity and
Generalizable Neural Surface Reconstruction [12.621233209149953]
本稿では,多視点ステレオとニューラルサイン付き距離関数表現を組み合わせた新しい統合手法を提案する。
本手法は,ロバストな表面を再構成し,既存の最先端の手法より優れる。
論文 参考訳（メタデータ） (2023-06-16T17:56:16Z) - PanDepth: Joint Panoptic Segmentation and Depth Completion [19.642115764441016]
本稿では,RGB画像とスパース深度マップを用いたマルチタスクモデルを提案する。
本モデルでは,完全な深度マップの予測に成功し,各入力フレームに対してセマンティックセグメンテーション,インスタンスセグメンテーション,パノプティックセグメンテーションを行う。
論文 参考訳（メタデータ） (2022-12-29T05:37:38Z) - Rethinking Disparity: A Depth Range Free Multi-View Stereo Based on
Disparity [17.98608948955211]
既存の学習ベースのマルチビューステレオ(MVS)手法は、3Dコストボリュームを構築するために深さ範囲に依存している。
本稿では,DipMVSと呼ばれるエピポーラ分散フロー(E-flow)に基づく分散型MVS法を提案する。
本研究では、DipMVSは深さ範囲に敏感ではなく、GPUメモリを低くすることで最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2022-11-30T11:05:02Z) - Towards Reliable Image Outpainting: Learning Structure-Aware Multimodal
Fusion with Depth Guidance [49.94504248096527]
異なるモードの特徴表現をモデル化するためのDGONet(Depth-Guided Outpainting Network)を提案する。
1)マルチモーダル学習モジュールは、異なるモーダル特性の観点から独自の深さとRGBの特徴表現を生成する。
我々は、不明瞭な輪郭を増進し、信頼性の高いコンテンツ生成を迅速化するために、クロスモーダルロスとエッジロスからなる追加の制約戦略を特別に設計する。
論文 参考訳（メタデータ） (2022-04-12T06:06:50Z) - Learning Local Displacements for Point Cloud Completion [93.54286830844134]
本稿では,3次元点雲として表現された部分的スキャンからオブジェクトとセマンティックシーンを補完する手法を提案する。
アーキテクチャはエンコーダ-デコーダ構造内で連続的に使用される3つの新しいレイヤに依存している。
オブジェクトと屋内の両方のシーン完了タスクにおけるアーキテクチャの評価を行い、最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-03-30T18:31:37Z) - Multiresolution Deep Implicit Functions for 3D Shape Representation [30.45961142799784]
細かな幾何学的詳細を復元できる階層型表現であるMDIF(Multi resolution Deep Implicit Function)を導入する。
我々のモデルは、遅延格子の階層構造を持つ複雑な3次元形状を表現し、様々な詳細レベルにデコードでき、精度も向上する。
論文 参考訳（メタデータ） (2021-09-12T19:14:51Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳（メタデータ） (2021-02-04T14:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。