論文の概要: Inst4DGS: Instance-Decomposed 4D Gaussian Splatting with Multi-Video Label Permutation Learning
- arxiv url: http://arxiv.org/abs/2603.18402v1
- Date: Thu, 19 Mar 2026 01:49:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:05.910829
- Title: Inst4DGS: Instance-Decomposed 4D Gaussian Splatting with Multi-Video Label Permutation Learning
- Title（参考訳）: Inst4DGS:マルチビデオラベル置換学習によるインスタンス分割4次元ガウス分割
- Authors: Yonghan Lee, Dinesh Manocha,
- Abstract要約: Inst4DGS (Inst4DGS) は4DGS (4D Gaussian Splatting) で、ガウス単位の長い軌道を持つ。
ビデオごとのラベル置換ラテントを導入し、異なるSinkhorn層を通してビデオ間の一致を学習する。
この明示的なラベルアライメントは、シャープな決定境界と時間的に安定したアイデンティティをアイデンティティドリフトなしで生成する。
- 参考スコア（独自算出の注目度）: 52.867634524554795
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Inst4DGS, an instance-decomposed 4D Gaussian Splatting (4DGS) approach with long-horizon per-Gaussian trajectories. While dynamic 4DGS has advanced rapidly, instance-decomposed 4DGS remains underexplored, largely due to the difficulty of associating inconsistent instance labels across independently segmented multi-view videos. We address this challenge by introducing per-video label-permutation latents that learn cross-video instance matches through a differentiable Sinkhorn layer, enabling direct multi-view supervision with consistent identity preservation. This explicit label alignment yields sharp decision boundaries and temporally stable identities without identity drift. To further improve efficiency, we propose instance-decomposed motion scaffolds that provide low-dimensional motion bases per object for long-horizon trajectory optimization. Experiments on Panoptic Studio and Neural3DV show that Inst4DGS jointly supports tracking and instance decomposition while achieving state-of-the-art rendering and segmentation quality. On the Panoptic Studio dataset, Inst4DGS improves PSNR from 26.10 to 28.36, and instance mIoU from 0.6310 to 0.9129, over the strongest baseline.
- Abstract（参考訳）: Inst4DGS(Inst4DGS)は、4DGS(4DGS)アプローチであり、ガウス単位の長距離軌道である。
動的4DGSは急速に進歩してきたが、インスタンス分解された4DGSは、独立に分割されたマルチビュービデオ間で一貫性のないインスタンスラベルを関連付けるのが難しいため、未探索のままである。
この課題に対処するために、ビデオ毎のラベル置換ラテントを導入し、異なるSinkhorn層を通じてクロスビデオインスタンスマッチングを学習し、一貫したアイデンティティ保存による直接マルチビューの監視を可能にする。
この明示的なラベルアライメントは、シャープな決定境界と時間的に安定したアイデンティティをアイデンティティドリフトなしで生成する。
さらに効率を向上させるために, 物体ごとの低次元運動ベースを長距離軌道最適化に用いるインスタンス分解型運動足場を提案する。
Panoptic StudioとNeural3DVの実験によると、Inst4DGSは最先端のレンダリングとセグメンテーション品質を実現しつつ、トラッキングとインスタンスの分解を共同でサポートする。
Panoptic Studioデータセットでは、Inst4DGSはPSNRを26.10から28.36に改善し、mIoUは0.6310から0.9129に改善した。
関連論文リスト
- Split4D: Decomposed 4D Scene Reconstruction Without Video Segmentation [76.21162972133534]
我々は、Freetime FeatureGSで分解された4Dシーンを表現する。
画像ごとのセグメンテーションマップから正確に復元するためのストリーミング機能学習戦略を設計する。
いくつかのデータセットに対する実験結果から,提案手法の再現性は近年の手法よりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2025-12-28T02:37:12Z) - Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation [21.075786141331974]
スパース入力から動的4Dオブジェクトを生成するフレームワークであるemphTrack4DGenを提案する。
ステージ1では拡散発生器内の高密度な特徴レベル対応を強制する。
ステージ2では,ハイブリッドモーション符号化を用いて動的4D-GSを再構成する。
論文 参考訳（メタデータ） (2025-12-05T21:13:04Z) - TED-4DGS: Temporally Activated and Embedding-based Deformation for 4DGS Compression [14.026420167067117]
速度歪み最適化4DGS圧縮のための時間的活性化および埋め込みに基づく変形方式であるTED-4DGSを提案する。
提案手法は,複数の実世界のデータセット上での最先端の速度歪み性能を実現する。
論文 参考訳（メタデータ） (2025-12-05T05:46:35Z) - SyncTrack4D: Cross-Video Motion Alignment and Video Synchronization for Multi-Video 4D Gaussian Splatting [50.69165364520998]
実世界の非同期ビデオ集合を扱うために, マルチビデオ4Dガウススプラッティング (4DGS) 方式を提案する。
SyncTrack4Dは、4DGSの同時同期と4DGS再構成のためのキューとして動的シーンの高密度な4Dトラック表現を直接活用する。
我々はPanoptic Studio と SyncNeRF Blender に対するアプローチを評価し,0.26 フレーム以下の平均時間誤差でサブフレーム同期精度を示し,高忠実度 4D 再構成は26.3 PSNR スコアに達した。
論文 参考訳（メタデータ） (2025-12-03T23:05:01Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳（メタデータ） (2025-11-01T11:16:25Z) - Segmentation-Driven Initialization for Sparse-view 3D Gaussian Splatting [0.9251324073335035]
3D Gaussian Splatting (3DGS)は、競争力のあるリアルタイムレンダリングを可能にした。
既存のパイプラインは、しばしばカメラポーズ推定にStructure-from-Motion(SfM)に依存している。
本研究では,構造的に重要な領域のみを識別・保持するために,領域ベースセグメンテーションを活用して非効率を緩和する手法を提案する。
論文 参考訳（メタデータ） (2025-09-15T12:31:33Z) - Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [55.704264233274294]
ぼやけたモノクロ映像から高品質な4Dモデルを再構成するためのDeblur4DGSを提案する。
我々は露光時間内の連続的動的表現を露光時間推定に変換する。
Deblur4DGSは、新規なビュー合成以外にも、複数の視点からぼやけたビデオを改善するために応用できる。
論文 参考訳（メタデータ） (2024-12-09T12:02:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。