論文の概要: 3DFusion, A real-time 3D object reconstruction pipeline based on
streamed instance segmented data
- arxiv url: http://arxiv.org/abs/2311.06659v1
- Date: Sat, 11 Nov 2023 20:11:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 17:31:55.116834
- Title: 3DFusion, A real-time 3D object reconstruction pipeline based on
streamed instance segmented data
- Title（参考訳）: 3dfusion - ストリームインスタンスセグメンテーションデータに基づくリアルタイム3dオブジェクト再構築パイプライン
- Authors: Xi Sun, Derek Jacoby, Yvonne Coady
- Abstract要約: 本稿では,RGB-D画像を利用したリアルタイムセグメンテーション・再構築システムを提案する。
システムはRGB-Dデータに対して画素レベルのセグメンテーションを行い、背景オブジェクトを効果的に分離する。
リアルタイム3Dモデリングは、拡張現実、仮想現実、インテリアデザイン、都市計画、道路支援、セキュリティシステムなど、さまざまな分野に適用することができる。
- 参考スコア（独自算出の注目度）: 0.552480439325792
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper presents a real-time segmentation and reconstruction system that
utilizes RGB-D images to generate accurate and detailed individual 3D models of
objects within a captured scene. Leveraging state-of-the-art instance
segmentation techniques, the system performs pixel-level segmentation on RGB-D
data, effectively separating foreground objects from the background. The
segmented objects are then reconstructed into distinct 3D models in a
high-performance computation platform. The real-time 3D modelling can be
applied across various domains, including augmented/virtual reality, interior
design, urban planning, road assistance, security systems, and more. To achieve
real-time performance, the paper proposes a method that effectively samples
consecutive frames to reduce network load while ensuring reconstruction
quality. Additionally, a multi-process SLAM pipeline is adopted for parallel 3D
reconstruction, enabling efficient cutting of the clustering objects into
individuals. This system employs the industry-leading framework YOLO for
instance segmentation. To improve YOLO's performance and accuracy,
modifications were made to resolve duplicated or false detection of similar
objects, ensuring the reconstructed models align with the targets. Overall,
this work establishes a robust real-time system with a significant enhancement
for object segmentation and reconstruction in the indoor environment. It can
potentially be extended to the outdoor scenario, opening up numerous
opportunities for real-world applications.
- Abstract（参考訳）: 本稿では,RGB-D画像を用いたリアルタイムセグメンテーション・再構築システムを提案する。
最先端のインスタンスセグメンテーション技術を活用し、RGB-Dデータ上でピクセルレベルのセグメンテーションを行い、背景オブジェクトを効果的に分離する。
セグメント化されたオブジェクトは、高速な計算プラットフォームで異なる3Dモデルに再構成される。
リアルタイム3Dモデリングは、拡張現実、仮想現実、インテリアデザイン、都市計画、道路支援、セキュリティシステムなど、さまざまな分野に適用することができる。
本稿では,連続フレームを効果的にサンプリングし,復元品質を確保しつつネットワーク負荷を低減する手法を提案する。
さらに、並列3次元再構成のためにマルチプロセスSLAMパイプラインが採用され、クラスタリングオブジェクトを個人に効率的に切断することができる。
このシステムは、産業をリードするフレームワークであるYOLOを例に挙げる。
YOLOの性能と精度を向上させるため、類似したオブジェクトの重複や誤検出を解消し、再構成されたモデルがターゲットと一致することを保証した。
全体として本研究は,室内環境におけるオブジェクトのセグメンテーションと再構成を著しく向上した,堅牢なリアルタイムシステムを確立する。
屋外のシナリオに拡張して、現実世界のアプリケーションに多くの機会を開放する可能性がある。
関連論文リスト
- ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance [76.7746870349809]
複雑な構成で高品質な3Dアセットを生成する3D生成フレームワークであるComboVerseについて,複数のモデルを組み合わせることを学習して紹介する。
提案手法は,標準スコア蒸留法と比較して,物体の空間的アライメントを重視している。
論文 参考訳（メタデータ） (2024-03-19T03:39:43Z) - ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳（メタデータ） (2023-11-29T20:30:18Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - DETR4D: Direct Multi-View 3D Object Detection with Sparse Attention [50.11672196146829]
サラウンドビュー画像を用いた3次元物体検出は、自動運転にとって必須の課題である。
マルチビュー画像における3次元オブジェクト検出のためのスパースアテンションと直接特徴クエリを探索するトランスフォーマーベースのフレームワークであるDETR4Dを提案する。
論文 参考訳（メタデータ） (2022-12-15T14:18:47Z) - Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。
再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。
本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
論文 参考訳（メタデータ） (2021-03-30T17:57:01Z) - Learning monocular 3D reconstruction of articulated categories from
motion [39.811816510186475]
ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。
少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。
多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
論文 参考訳（メタデータ） (2021-03-30T13:50:27Z) - SCFusion: Real-time Incremental Scene Reconstruction with Semantic
Completion [86.77318031029404]
本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。
我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
論文 参考訳（メタデータ） (2020-10-26T15:31:52Z) - NodeSLAM: Neural Object Descriptors for Multi-View Shape Reconstruction [4.989480853499916]
本稿では,新しい確率的・微分レンダリングエンジンとともに,効率的で最適化可能な多クラス学習オブジェクト記述子を提案する。
本フレームワークは,ロボットの把握・配置,拡張現実,第1次オブジェクトレベルSLAMシステムなど,複数の応用が可能な,正確で堅牢な3次元オブジェクト再構成を実現する。
論文 参考訳（メタデータ） (2020-04-09T11:09:56Z) - OccuSeg: Occupancy-aware 3D Instance Segmentation [39.71517989569514]
3D占有サイズ」とは、各インスタンスが占有するボクセルの数である。
OccuSegは、3Dインスタンスのセグメンテーションスキームである。
3つの実世界のデータセット上での“最先端のパフォーマンス”。
論文 参考訳（メタデータ） (2020-03-14T02:48:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。