論文の概要: 3DGS-CD: 3D Gaussian Splatting-based Change Detection for Physical Object Rearrangement

• arxiv url: http://arxiv.org/abs/2411.03706v2
• Date: Sat, 18 Jan 2025 08:44:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:15:22.851716
• Title: 3DGS-CD: 3D Gaussian Splatting-based Change Detection for Physical Object Rearrangement
• Title（参考訳）: 3DGS-CD:3次元ガウス平滑化に基づく物理的物体再構成のための変化検出
• Authors: Ziqi Lu, Jianbo Ye, John Leonard,
• Abstract要約: 3DGS-CDは3Dシーンにおける物体の物理的配置を検出する最初の3Dガウス散乱(3DGS)に基づく手法である。 提案手法では,異なる時間に撮影された2つの不整合画像を比較して3次元オブジェクトレベルの変化を推定する。 提案手法は,18秒以内のスパース画像を用いて,散在する環境の変化を正確に識別することができる。
• 参考スコア（独自算出の注目度）: 2.2122801766964795
• License:
• Abstract: We present 3DGS-CD, the first 3D Gaussian Splatting (3DGS)-based method for detecting physical object rearrangements in 3D scenes. Our approach estimates 3D object-level changes by comparing two sets of unaligned images taken at different times. Leveraging 3DGS's novel view rendering and EfficientSAM's zero-shot segmentation capabilities, we detect 2D object-level changes, which are then associated and fused across views to estimate 3D change masks and object transformations. Our method can accurately identify changes in cluttered environments using sparse (as few as one) post-change images within as little as 18s. It does not rely on depth input, user instructions, pre-defined object classes, or object models -- An object is recognized simply if it has been re-arranged. Our approach is evaluated on both public and self-collected real-world datasets, achieving up to 14% higher accuracy and three orders of magnitude faster performance compared to the state-of-the-art radiance-field-based change detection method. This significant performance boost enables a broad range of downstream applications, where we highlight three key use cases: object reconstruction, robot workspace reset, and 3DGS model update. Our code and data will be made available at https://github.com/520xyxyzq/3DGS-CD.
• Abstract（参考訳）: 3DGS-CDは3Dシーンにおける物体の物理的配置を検出する最初の3Dガウス散乱(3DGS)に基づく手法である。 提案手法では,異なる時間に撮影された2つの不整合画像を比較して3次元オブジェクトレベルの変化を推定する。 3DGSのビューレンダリングとEfficientSAMのゼロショットセグメンテーション機能を活用して、2Dオブジェクトレベルの変更を検出します。 提案手法は,18秒以内のスパース画像を用いて,散在する環境の変化を正確に識別することができる。 深度入力、ユーザーインストラクション、事前定義されたオブジェクトクラス、オブジェクトモデルに依存しない。 提案手法は,現在最先端の放射場に基づく変化検出法と比較して,最大14%の精度と3桁の高速な性能を実現することができる。 オブジェクト再構成、ロボットワークスペースリセット、3DGSモデル更新という3つの重要なユースケースを強調します。 コードとデータはhttps://github.com/520xyxyzq/3DGS-CDで公開されます。

関連論文リスト

• Has Anything Changed? 3D Change Detection by 2D Segmentation Masks [27.15724607877779]
  内部空間の3次元スキャンを日常的に取得する。 この情報は、没入型仮想体験で操作するために、ロボットやAR、VRデバイスにとって重要である。 本研究では,シーン内に存在するオブジェクトの事前知識を必要とせずに,オブジェクトの追加,移動,削除を未監視で検出するオブジェクト発見手法を提案する。
  論文  参考訳（メタデータ） (2023-12-02T14:30:23Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• 3D Video Object Detection with Learnable Object-Centric Global Optimization [65.68977894460222]
  対応性に基づく最適化は3次元シーン再構成の基盤となるが、3次元ビデオオブジェクト検出では研究されていない。 オブジェクト中心の時間対応学習と特徴量付きオブジェクトバンドル調整を備えた、エンドツーエンドで最適化可能なオブジェクト検出器であるBA-Detを提案する。
  論文  参考訳（メタデータ） (2023-03-27T17:39:39Z)
• SparseDet: Towards End-to-End 3D Object Detection [12.3069609175534]
  ポイントクラウドからエンドツーエンドの3Dオブジェクト検出のためのSparseDetを提案する。 新しい検出パラダイムとして、SparseDetは遅延候補を表現するための学習可能な提案の固定セットを維持している。 SparseDetはより効率的な34.5 FPSで実行しながら高い競合検出精度を達成する。
  論文  参考訳（メタデータ） (2022-06-02T09:49:53Z)
• Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
  我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。 我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
  論文  参考訳（メタデータ） (2022-03-25T00:20:31Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
  既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。 この2つのタスクを同一のメトリック空間で統一するモデルを提案する。 提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-01-17T05:11:38Z)
• Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
  モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。 従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。 我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。 これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
  論文  参考訳（メタデータ） (2020-08-31T17:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。