論文の概要: TimeFormer: Capturing Temporal Relationships of Deformable 3D Gaussians for Robust Reconstruction

• arxiv url: http://arxiv.org/abs/2411.11941v1
• Date: Mon, 18 Nov 2024 17:11:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:47.612473
• Title: TimeFormer: Capturing Temporal Relationships of Deformable 3D Gaussians for Robust Reconstruction
• Title（参考訳）: TimeFormer:ロバスト再建のための変形性3次元ガウスの時間的関係の把握
• Authors: DaDong Jiang, Zhihui Ke, Xiaobo Zhou, Zhi Hou, Xianghui Yang, Wenbo Hu, Tie Qiu, Chunchao Guo,
• Abstract要約: 動的シーン再構築は3次元視覚における長期的課題である。 近年の手法では,3次元ガウス平滑化を動的シーンに拡張し,変形を誘導するために運動流のような明示的な制約を適用している。 彼らは個々のタイムスタンプから動きの変化を個別に学習し、複雑なシーンの再構築を困難にしている。 我々はTimeFormerと呼ばれるプラグイン・アンド・プレイ・モジュールを設計し、既存の変形可能な3Dガウス再構成手法を学習の観点から暗黙的にパターンをモデル化することができるようにした。
• 参考スコア（独自算出の注目度）: 15.077550355462279
• License:
• Abstract: Dynamic scene reconstruction is a long-term challenge in 3D vision. Recent methods extend 3D Gaussian Splatting to dynamic scenes via additional deformation fields and apply explicit constraints like motion flow to guide the deformation. However, they learn motion changes from individual timestamps independently, making it challenging to reconstruct complex scenes, particularly when dealing with violent movement, extreme-shaped geometries, or reflective surfaces. To address the above issue, we design a plug-and-play module called TimeFormer to enable existing deformable 3D Gaussians reconstruction methods with the ability to implicitly model motion patterns from a learning perspective. Specifically, TimeFormer includes a Cross-Temporal Transformer Encoder, which adaptively learns the temporal relationships of deformable 3D Gaussians. Furthermore, we propose a two-stream optimization strategy that transfers the motion knowledge learned from TimeFormer to the base stream during the training phase. This allows us to remove TimeFormer during inference, thereby preserving the original rendering speed. Extensive experiments in the multi-view and monocular dynamic scenes validate qualitative and quantitative improvement brought by TimeFormer. Project Page: https://patrickddj.github.io/TimeFormer/
• Abstract（参考訳）: 動的シーン再構築は3次元視覚における長期的課題である。 近年の手法では,3次元ガウス平滑化を動的シーンに拡張し,変形を誘導するために運動流のような明示的な制約を適用している。 しかし、個々のタイムスタンプから動きの変化を個別に学習することで、特に暴力的な動き、極端な形状の地形、反射面を扱う場合、複雑なシーンの再構築が困難になる。 上記の課題に対処するため,既存の変形可能な3Dガウス再構成手法を学習の観点から暗黙的にモデル化できるTimeFormerというプラグイン・アンド・プレイ・モジュールを設計した。 具体的には、TimeFormerには、変形可能な3Dガウスの時間的関係を適応的に学習するクロステンポラルトランスフォーマーエンコーダが含まれている。 さらに,トレーニング期間中にTimeFormerから学んだ動作知識をベースストリームに転送する2ストリーム最適化手法を提案する。 これにより、推論中にTimeFormerを削除し、元のレンダリング速度を保存することができます。 マルチビューおよび単分子動的シーンにおける広範囲な実験は、TimeFormerによってもたらされた質的かつ定量的な改善を検証する。 Project Page: https://patrickddj.github.io/TimeFormer/

関連論文リスト

• Fully Explicit Dynamic Gaussian Splatting [22.889981393105554]
  3D Gaussian Splattingは、高密度な3D事前表現と明示的な表現を活用することで、静的シーンにおける高速かつ高品質なレンダリング結果を示している。 本稿では,Ex4DGSの収束性を改善するためのプログレッシブトレーニング手法とポイントバックトラッキング手法を提案する。 2080TiのGPU上で62fpsの高速レンダリングを実現するため,様々な場面での総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-10-21T04:25:43Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Gaussian Time Machine: A Real-Time Rendering Methodology for Time-Variant Appearances [10.614750331310804]
  軽量マルチ層パーセプトロン(MLP)で復号された離散時間埋め込みベクトルを持つガウス原始体の時間依存特性をモデル化したガウス時機械(GTM)を提案する。 GTMは3つのデータセットで最先端のレンダリングフィリティを達成し、レンダリングにおけるNeRFベースのレンダリングよりも100倍高速である。
  論文  参考訳（メタデータ） (2024-05-22T14:40:42Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene Reconstruction [29.83056271799794]
  暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。 本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。 微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
  論文  参考訳（メタデータ） (2023-09-22T16:04:02Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• Temporally Consistent Transformers for Video Generation [80.45230642225913]
  正確なビデオを生成するには、アルゴリズムは世界の空間的および時間的依存関係を理解する必要がある。 時間依存性のあるビデオ生成を厳格に評価するために、複雑なデータに関する確立されたベンチマークは存在しない。 本稿では,長期間の一貫性を著しく向上し,サンプリング時間を短縮するTemporally Consistent Transformer(TECO)を提案する。
  論文  参考訳（メタデータ） (2022-10-05T17:15:10Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。