論文の概要: 4DStyleGaussian: Zero-shot 4D Style Transfer with Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2410.10412v1
- Date: Mon, 14 Oct 2024 12:03:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 21:44:49.443733
- Title: 4DStyleGaussian: Zero-shot 4D Style Transfer with Gaussian Splatting
- Title（参考訳）: 4DStyleGaussian:Gaussian Splattingを用いたゼロショット4Dスタイルトランスファー
- Authors: Wanlin Liang, Hongbin Xu, Weitao Chen, Feng Xiao, Wenxiong Kang,
- Abstract要約: 任意のスタイル参照のリアルタイムスタイリングを実現するための新しい4Dスタイル転送フレームワークである4DStyleGaussianを紹介する。
提案手法は,高効率・時空間整合性を有する4次元シナリオの高品質・ゼロショットスタイリングを実現する。
- 参考スコア（独自算出の注目度）: 15.456479631131522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D neural style transfer has gained significant attention for its potential to provide user-friendly stylization with spatial consistency. However, existing 3D style transfer methods often fall short in terms of inference efficiency, generalization ability, and struggle to handle dynamic scenes with temporal consistency. In this paper, we introduce 4DStyleGaussian, a novel 4D style transfer framework designed to achieve real-time stylization of arbitrary style references while maintaining reasonable content affinity, multi-view consistency, and temporal coherence. Our approach leverages an embedded 4D Gaussian Splatting technique, which is trained using a reversible neural network for reducing content loss in the feature distillation process. Utilizing the 4D embedded Gaussians, we predict a 4D style transformation matrix that facilitates spatially and temporally consistent style transfer with Gaussian Splatting. Experiments demonstrate that our method can achieve high-quality and zero-shot stylization for 4D scenarios with enhanced efficiency and spatial-temporal consistency.
- Abstract（参考訳）: 3Dニューラルスタイルの転送は、ユーザフレンドリーなスタイリゼーションと空間整合性を提供する可能性に大きな注目を集めている。
しかし、既存の3Dスタイルの転送手法は、推論効率、一般化能力、時間的一貫性のある動的なシーンを扱うのに苦労するといった点で、しばしば不足する。
本稿では、4DStyleGaussianについて紹介する。これは、任意のスタイル参照のリアルタイムスタイリングを実現するために設計された新しい4Dスタイル転送フレームワークで、合理的なコンテンツ親和性、マルチビュー一貫性、時間的コヒーレンスを保ちながら、任意のスタイル参照のリアルタイムスタイリングを実現する。
提案手法は, 可逆ニューラルネットワークを用いて, 特徴蒸留プロセスにおける内容損失を低減するために, 組込み4次元ガウススメッティング技術を利用する。
4D埋め込みガウシアンを用いて,空間的かつ時間的に一貫したガウシアンスプラッティングによる4D変換行列を予測した。
提案手法は,高効率・時空間整合性を有する4次元シナリオに対して,高品質かつゼロショットスタイリングを実現することができることを示す。
関連論文リスト
- S4D: Streaming 4D Real-World Reconstruction with Gaussians and 3D Control Points [30.46796069720543]
本稿では,離散的な3次元制御点を用いた4次元実世界の再構成をストリーミングする手法を提案する。
この方法は局所光を物理的にモデル化し、運動デカップリング座標系を確立する。
従来のグラフィックスと学習可能なパイプラインを効果的にマージすることにより、堅牢で効率的なローカルな6自由度(6自由度)モーション表現を提供する。
論文 参考訳（メタデータ） (2024-08-23T12:51:49Z) - Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models [116.31344506738816]
高速でスケーラブルな4Dコンテンツ生成のための新しいフレームワーク textbfDiffusion4D を提案する。
ダイナミックな3Dアセットの軌道ビューを合成できる4D対応ビデオ拡散モデルを開発した。
提案手法は, 生成効率と4次元幾何整合性の観点から, 従来の最先端技術を超えている。
論文 参考訳（メタデータ） (2024-05-26T17:47:34Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - STAG4D: Spatial-Temporal Anchored Generative 4D Gaussians [36.83603109001298]
STAG4Dは、事前訓練された拡散モデルと動的3次元ガウススプラッティングを組み合わせた、高忠実度4D生成のための新しいフレームワークである。
提案手法は, レンダリング品質, 時空間整合性, 生成ロバスト性において, 先行4次元生成よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-22T04:16:33Z) - GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation [28.780488884938997]
連続するフレーム間の3次元ガウス流と画素速度のダイナミクスを結合する新しい概念であるガウス流を導入する。
提案手法は,ガウススプラッティングを用いた4次元動的コンテンツ生成と4次元新規ビュー合成に有効である。
提案手法は, 4次元生成と4次元新規ビュー合成の両課題に対して, 最先端の成果を得る。
論文 参考訳（メタデータ） (2024-03-19T02:22:21Z) - StyleDyRF: Zero-shot 4D Style Transfer for Dynamic Neural Radiance
Fields [21.55426133036809]
既存の3Dスタイル転送の取り組みは、スタイル画像とニューラルレイディアンスフィールド(NeRF)の視覚的特徴を効果的に組み合わせることができる
本稿では,4次元特徴量を表す手法であるStyleDyRFを紹介する。
提案手法は、4Dフォトリアリスティックなスタイルの転送結果をゼロショット方式でレンダリングするだけでなく、視覚的品質と一貫性の点で既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-13T07:42:21Z) - StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting [141.05924680451804]
StyleGaussianは、新しい3Dスタイル転送技術である。
任意の画像のスタイルを毎秒10フレームの3Dシーンに即時転送できる(fps)。
論文 参考訳（メタデータ） (2024-03-12T16:44:52Z) - 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。
静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。
我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
論文 参考訳（メタデータ） (2023-12-28T18:53:39Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳（メタデータ） (2023-12-21T11:41:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。