論文の概要: STD-GS: Exploring Frame-Event Interaction for SpatioTemporal-Disentangled Gaussian Splatting to Reconstruct High-Dynamic Scene

• arxiv url: http://arxiv.org/abs/2506.23157v1
• Date: Sun, 29 Jun 2025 09:32:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.751096
• Title: STD-GS: Exploring Frame-Event Interaction for SpatioTemporal-Disentangled Gaussian Splatting to Reconstruct High-Dynamic Scene
• Title（参考訳）: STD-GS: 時空間異方性ガウス平滑化のためのフレームイベントインタラクションの探索
• Authors: Hanyu Zhou, Haonan Wang, Haoyue Liu, Yuxing Duan, Luxin Yan, Gim Hee Lee,
• Abstract要約: 既存の手法ではフレームカメラのシーンと直接一致させるために統一表現モデル(例えばガウシアン)を採用している。 しかし、この統一パラダイムは、フレームの特徴と背景とオブジェクト間の不連続な空間的特徴により、オブジェクトの潜在的時間的特徴に失敗する。 本研究では,フレームカメラを補うイベントカメラを導入し,高ダイナミックなシーン再構成のための時分割型ガウススプレイティングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 54.418259038624406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-dynamic scene reconstruction aims to represent static background with rigid spatial features and dynamic objects with deformed continuous spatiotemporal features. Typically, existing methods adopt unified representation model (e.g., Gaussian) to directly match the spatiotemporal features of dynamic scene from frame camera. However, this unified paradigm fails in the potential discontinuous temporal features of objects due to frame imaging and the heterogeneous spatial features between background and objects. To address this issue, we disentangle the spatiotemporal features into various latent representations to alleviate the spatiotemporal mismatching between background and objects. In this work, we introduce event camera to compensate for frame camera, and propose a spatiotemporal-disentangled Gaussian splatting framework for high-dynamic scene reconstruction. As for dynamic scene, we figure out that background and objects have appearance discrepancy in frame-based spatial features and motion discrepancy in event-based temporal features, which motivates us to distinguish the spatiotemporal features between background and objects via clustering. As for dynamic object, we discover that Gaussian representations and event data share the consistent spatiotemporal characteristic, which could serve as a prior to guide the spatiotemporal disentanglement of object Gaussians. Within Gaussian splatting framework, the cumulative scene-object disentanglement can improve the spatiotemporal discrimination between background and objects to render the time-continuous dynamic scene. Extensive experiments have been performed to verify the superiority of the proposed method.
• Abstract（参考訳）: 高ダイナミックシーン再構成は、剛性のある空間的特徴を持つ静的背景と、変形した連続時空間的特徴を持つ動的対象を表現することを目的としている。 通常、既存の手法ではフレームカメラの動的シーンの時空間的特徴と直接一致するように統一表現モデル(例えばガウス)を採用している。 しかし、この統一パラダイムは、フレームイメージングによる物体の潜在的不連続な時間的特徴と、背景と物体の間の不均一な空間的特徴に失敗する。 この問題に対処するため,時空間的特徴を様々な潜在表現に分解し,背景と対象の時空間的ミスマッチを軽減する。 本研究では,フレームカメラを補うイベントカメラを導入し,高ダイナミックなシーン再構成のための時空間異方性ガウススプレイティングフレームワークを提案する。 動的シーンでは,背景と物体がフレームベースの空間的特徴やイベントベースの時間的特徴に相違があることが判明し,背景と物体の時空間的特徴をクラスタリングによって区別する動機となった。 動的対象について、ガウス表現と事象データは一貫した時空間特性を共有しており、対象ガウスの時空間的ゆがみを導く前駆体として機能することを発見した。 ガウスのスプレイティングフレームワーク内では、累積的なシーンオブジェクトのゆがみは、背景と物体の時空間的識別を改善し、時間連続的な動的シーンを描画する。 提案手法の優位性を検証するため, 広範囲な実験が実施されている。

関連論文リスト

• FreeTimeGS: Free Gaussian Primitives at Anytime and Anywhere for Dynamic Scene Reconstruction [64.30050475414947]
  FreeTimeGSはガウスのプリミティブを任意の時間と位置で表示できる新しい4D表現である。 我々の表現は強い柔軟性を持ち、ダイナミックな3Dシーンをモデル化する能力を向上させる。 いくつかのデータセットに対する実験結果から,本手法のレンダリング品質は,最近の手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-05T17:59:57Z)
• STDR: Spatio-Temporal Decoupling for Real-Time Dynamic Scene Rendering [15.873329633980015]
  既存の3DGSに基づく動的再構成法は、しばしばtextbfSTDR(リアルタイムレンダリングのための空間結合デテンポラル)に悩まされる 実時間レンダリングのためのテキストbfSTDR (Spatio-coupling DeTemporal for Real-time rendering) を提案する。
  論文  参考訳（メタデータ） (2025-05-28T14:26:41Z)
• Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories [28.701879490459675]
  ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、同一領域内の新規点の動きを予測することを目的とする。 我々は、SIRENが提供する固有正則化を活用し、入力層を変更して時間的に滑らかな運動場を生成する。 実験では, 未知点軌道の予測におけるモデルの性能評価と, 変形を伴う時間メッシュアライメントへの応用について検討した。
  論文  参考訳（メタデータ） (2024-06-05T21:02:10Z)
• Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
  周期振動ガウスモデル(PVG)を提案する。 PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。 PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
  論文  参考訳（メタデータ） (2023-11-30T13:53:50Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• DynaVol: Unsupervised Learning for Dynamic Scenes through Object-Centric Voxelization [67.85434518679382]
  幾何学構造と物体中心学習を統一した3次元シーン生成モデルDynaVolを提案する。 鍵となるアイデアは、シーンの3D特性を捉えるために、オブジェクト中心のボキセル化を実行することである。 ボクセルの機能は標準空間の変形関数を通じて時間とともに進化し、グローバルな表現学習の基礎を形成する。
  論文  参考訳（メタデータ） (2023-04-30T05:29:28Z)
• Dynamic Scene Novel View Synthesis via Deferred Spatio-temporal Consistency [18.036582072609882]
  構造(SfM)と新規ビュー合成(NVS)を提示する。 SfMは、ノイズに時間的に再構成されたスパース雲を発生させ、時間的に矛盾する効果を持つNVSをもたらす。 我々は,より最近の学習ベースラインアプローチに対して,実世界の動的シーンでアルゴリズムを実証する。
  論文  参考訳（メタデータ） (2021-09-02T15:29:45Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)
• CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations [72.4716073597902]
  本研究では,動的あるいは動いた物体の標準点クラウド表現を学習する手法を提案する。 本稿では, 形状再構成, カメラポーズ推定, 連続時間列再構成, 対応推定など, 様々な応用における本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-06T17:58:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。