論文の概要: FreeGaussian: Guidance-free Controllable 3D Gaussian Splats with Flow Derivatives

• arxiv url: http://arxiv.org/abs/2410.22070v1
• Date: Tue, 29 Oct 2024 14:29:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:45.947207
• Title: FreeGaussian: Guidance-free Controllable 3D Gaussian Splats with Flow Derivatives
• Title（参考訳）: FreeGaussian:フローデリバティブを持つ誘導制御可能な3次元ガウスプレート
• Authors: Qizhi Chen, Delin Qu, Yiwen Tang, Haoming Song, Yiting Zhang, Dong Wang, Bin Zhao, Xuelong Li,
• Abstract要約: 本稿では,光学フローとカメラモーションから動的ガウス運動を数学的に導出するFreeGaussianを提案する。 本手法は,フロー先行からの動的ガウス運動の自己教師付き最適化と連続性を実現する。
• 参考スコア（独自算出の注目度）: 43.087760256901234
• License:
• Abstract: Reconstructing controllable Gaussian splats from monocular video is a challenging task due to its inherently insufficient constraints. Widely adopted approaches supervise complex interactions with additional masks and control signal annotations, limiting their real-world applications. In this paper, we propose an annotation guidance-free method, dubbed FreeGaussian, that mathematically derives dynamic Gaussian motion from optical flow and camera motion using novel dynamic Gaussian constraints. By establishing a connection between 2D flows and 3D Gaussian dynamic control, our method enables self-supervised optimization and continuity of dynamic Gaussian motions from flow priors. Furthermore, we introduce a 3D spherical vector controlling scheme, which represents the state with a 3D Gaussian trajectory, thereby eliminating the need for complex 1D control signal calculations and simplifying controllable Gaussian modeling. Quantitative and qualitative evaluations on extensive experiments demonstrate the state-of-the-art visual performance and control capability of our method. Project page: https://freegaussian.github.io.
• Abstract（参考訳）: コントロール可能なガウススプラッターをモノクロビデオから再構成することは、本質的に不十分な制約のために難しい課題である。 広く採用されているアプローチは、追加のマスクと制御信号アノテーションとの複雑な相互作用を監督し、現実世界の応用を制限する。 本稿では,光フローとカメラモーションから動的ガウス運動を数学的に導出する,FreeGaussianと呼ばれるガイダンスのない手法を提案する。 2次元フローと3次元ガウス動的制御の接続を確立することにより,フロー先行からの動的ガウス運動の自己監督的最適化と連続性を実現する。 さらに,3次元ガウス軌道で状態を表す3次元球面ベクトル制御方式を導入し,複雑な1次元制御信号計算の必要性を排除し,制御可能なガウスモデリングを簡素化する。 広汎な実験における定量的および定性的評価は,本手法の最先端の視覚性能と制御能力を示すものである。 プロジェクトページ: https://freegaussian.github.io

関連論文リスト

• L3DG: Latent 3D Gaussian Diffusion [74.36431175937285]
  L3DGは3次元ガウス拡散定式化による3次元ガウスの3次元モデリングのための最初のアプローチである。 我々は、部屋の大きさのシーンで効率的に操作するために、スパース畳み込みアーキテクチャーを用いている。 3Dガウス表現を利用することで、生成されたシーンを任意の視点からリアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2024-10-17T13:19:32Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos [58.22272760132996]
  既存の4次元ガウス法は単分子配置が制約されていないため、この設定で劇的に失敗することを示す。 単分子配置の難易度を目標とした3つのコア修正からなる動的ガウス大理石を提案する。 Nvidia Dynamic ScenesデータセットとDyCheck iPhoneデータセットを評価し,Gaussian Marblesが他のGaussianベースラインを著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-06-26T19:37:07Z)
• Reconstructing and Simulating Dynamic 3D Objects with Mesh-adsorbed Gaussian Splatting [26.382349137191547]
  本稿では,このようなジレンマを解決するために,メッシュ吸着型ガウス平滑化法(MaGS)を提案する。 MaGSは3Dガウスをメッシュ表面にホバリングすることを制約し、相互に吸着したメッシュ-ガウスの3D表現を生成する。 メッシュ、3Dガウス、RDFを共同最適化することで、MaGSは高いレンダリング精度とリアルな変形を実現する。
  論文  参考訳（メタデータ） (2024-06-03T17:59:51Z)
• CoGS: Controllable Gaussian Splatting [5.909271640907126]
  制御可能なガウススプラッティング(CoGS)は3次元構造のキャプチャと再アニメーションのための新しい手法である。 CoGSは、事前計算された制御信号の必要なく、動的シーンをリアルタイムに制御する。 我々の評価では、CoGSは視覚的忠実度の観点から、既存の動的および制御可能なニューラル表現よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2023-12-09T20:06:29Z)
• SC-GS: Sparse-Controlled Gaussian Splatting for Editable Dynamic Scenes [59.23385953161328]
  動的シーンのための新しいビュー合成は、コンピュータビジョンとグラフィックスにおいて依然として難しい問題である。 本稿では,動的シーンの動作と外観を疎制御点と高密度ガウスに明示的に分解する新しい表現を提案する。 提案手法は,高忠実度な外観を維持しつつ,ユーザ制御のモーション編集を可能にする。
  論文  参考訳（メタデータ） (2023-12-04T11:57:14Z)
• GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
  我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
  論文  参考訳（メタデータ） (2023-09-28T07:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。