論文の概要: SADG: Segment Any Dynamic Gaussian Without Object Trackers
- arxiv url: http://arxiv.org/abs/2411.19290v1
- Date: Thu, 28 Nov 2024 17:47:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:19:58.801131
- Title: SADG: Segment Any Dynamic Gaussian Without Object Trackers
- Title（参考訳）: SADG: オブジェクトトラッキングなしで動的ガウスをセグメンテーション
- Authors: Yun-Jin Li, Mariia Gladkova, Yan Xia, Daniel Cremers,
- Abstract要約: SADG(Segment Any Dynamic Gaussian Without Object Trackers)は、オブジェクトIDに依存しない動的ガウス分割表現と意味情報を組み合わせた新しいアプローチである。
我々は,Segment Anything Model(SAM)から生成されるマスクを活用し,ハードピクセルマイニングに基づく新しいコントラスト学習目標を活用することで,意味論的特徴を学習する。
提案したベンチマーク上でSADGを評価し,動的シーン内のオブジェクトのセグメンテーションにおけるアプローチの優れた性能を示す。
- 参考スコア（独自算出の注目度）: 39.77468734311312
- License:
- Abstract: Understanding dynamic 3D scenes is fundamental for various applications, including extended reality (XR) and autonomous driving. Effectively integrating semantic information into 3D reconstruction enables holistic representation that opens opportunities for immersive and interactive applications. We introduce SADG, Segment Any Dynamic Gaussian Without Object Trackers, a novel approach that combines dynamic Gaussian Splatting representation and semantic information without reliance on object IDs. In contrast to existing works, we do not rely on supervision based on object identities to enable consistent segmentation of dynamic 3D objects. To this end, we propose to learn semantically-aware features by leveraging masks generated from the Segment Anything Model (SAM) and utilizing our novel contrastive learning objective based on hard pixel mining. The learned Gaussian features can be effectively clustered without further post-processing. This enables fast computation for further object-level editing, such as object removal, composition, and style transfer by manipulating the Gaussians in the scene. We further extend several dynamic novel-view datasets with segmentation benchmarks to enable testing of learned feature fields from unseen viewpoints. We evaluate SADG on proposed benchmarks and demonstrate the superior performance of our approach in segmenting objects within dynamic scenes along with its effectiveness for further downstream editing tasks.
- Abstract（参考訳）: ダイナミックな3Dシーンを理解することは、拡張現実(XR)や自律運転など、さまざまなアプリケーションに基本となる。
意味情報を3D再構成に効果的に統合することで、没入型およびインタラクティブなアプリケーションの機会を開放する全体的な表現が可能になる。
SADG, Segment Any Dynamic Gaussian Without Object Trackersを導入し, オブジェクトIDに依存しない動的ガウス分割表現と意味情報を組み合わせた新しい手法を提案する。
既存の作業とは対照的に、動的3Dオブジェクトの一貫したセグメンテーションを可能にするために、オブジェクトの同一性に基づく監視を頼りにしません。
そこで本研究では,Segment Anything Model (SAM) から生成したマスクを活用し,ハードピクセルマイニングに基づく新たなコントラスト学習目標を活用することで,意味論的特徴を学習することを提案する。
学習したガウス的機能は、さらなる後処理なしで効果的にクラスタ化できる。
これにより、オブジェクトの削除、合成、スタイル転送などのオブジェクトレベルのさらなる編集を、現場でガウスを操作することで高速に計算できる。
さらに,いくつかの動的ノベルビューデータセットをセグメンテーションベンチマークで拡張し,未知の視点から学習した特徴フィールドのテストを可能にする。
提案したベンチマーク上でSADGを評価し,動的シーン内のオブジェクトのセグメンテーションにおけるアプローチの優れた性能と,さらに下流での編集作業の有効性を示す。
関連論文リスト
- ZISVFM: Zero-Shot Object Instance Segmentation in Indoor Robotic Environments with Vision Foundation Models [10.858627659431928]
サービスロボットは、機能を強化するために、未知のオブジェクトを効果的に認識し、セグメント化する必要がある。
従来の教師付き学習ベースのセグメンテーション技術は、広範な注釈付きデータセットを必要とする。
本稿では,セグメンテーションアプライスモデル (SAM) の強力なゼロショット能力と,自己監督型視覚変換器 (ViT) からの明示的な視覚表現を活用することで,UOISを解く新しいアプローチ (ZISVFM) を提案する。
論文 参考訳（メタデータ） (2025-02-05T15:22:20Z) - Go-SLAM: Grounded Object Segmentation and Localization with Gaussian Splatting SLAM [12.934788858420752]
Go-SLAMは動的環境の再構築に3DガウススティングSLAMを利用する新しいフレームワークである。
本システムは,自然言語記述によるオブジェクトの検索を容易にする。
論文 参考訳（メタデータ） (2024-09-25T13:56:08Z) - DENSER: 3D Gaussians Splatting for Scene Reconstruction of Dynamic Urban Environments [0.0]
動的オブジェクトの表現を大幅に強化するフレームワークであるDENSERを提案する。
提案手法は最先端の手法を広いマージンで大幅に上回る。
論文 参考訳（メタデータ） (2024-09-16T07:11:58Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - GIC: Gaussian-Informed Continuum for Physical Property Identification and Simulation [60.33467489955188]
本稿では,視覚的観察を通して物理特性(システム同定)を推定する問題について検討する。
物理特性推定における幾何学的ガイダンスを容易にするために,我々は新しいハイブリッドフレームワークを提案する。
本研究では,3次元ガウス点集合としてオブジェクトを復元する動き分解に基づく動的3次元ガウスフレームワークを提案する。
抽出された物体表面に加えて、ガウスインフォームド連続体はシミュレーション中の物体マスクのレンダリングを可能にする。
論文 参考訳（メタデータ） (2024-06-21T07:37:17Z) - LOCATE: Self-supervised Object Discovery via Flow-guided Graph-cut and
Bootstrapped Self-training [13.985488693082981]
動作情報と外観情報を利用して高品質な物体分割マスクを生成する自己教師型物体発見手法を提案する。
複数の標準ビデオオブジェクトセグメンテーション、画像のサリエンシ検出、オブジェクトセグメンテーションベンチマークにおいて、LOCATEと呼ばれるアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-08-22T07:27:09Z) - Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast
Contrastive Fusion [110.84357383258818]
本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。
このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。
我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
論文 参考訳（メタデータ） (2023-06-07T17:57:45Z) - Semi-Weakly Supervised Object Kinematic Motion Prediction [56.282759127180306]
3Dオブジェクトが与えられた場合、運動予測は移動部と対応する運動パラメータを識別することを目的としている。
階層的部分分割と移動部パラメータのマップを学習するグラフニューラルネットワークを提案する。
ネットワーク予測は、擬似ラベル付き移動情報を持つ大規模な3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2023-03-31T02:37:36Z) - Segmenting Moving Objects via an Object-Centric Layered Representation [100.26138772664811]
深層表現を用いたオブジェクト中心セグメンテーションモデルを提案する。
複数のオブジェクトで合成トレーニングデータを生成するスケーラブルなパイプラインを導入する。
標準的なビデオセグメンテーションベンチマークでモデルを評価する。
論文 参考訳（メタデータ） (2022-07-05T17:59:43Z) - "What's This?" -- Learning to Segment Unknown Objects from Manipulation
Sequences [27.915309216800125]
本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。
本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。
我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
論文 参考訳（メタデータ） (2020-11-06T10:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。