論文の概要: ZDySS -- Zero-Shot Dynamic Scene Stylization using Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2501.03875v1
- Date: Tue, 07 Jan 2025 15:39:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-08 16:58:03.081882
- Title: ZDySS -- Zero-Shot Dynamic Scene Stylization using Gaussian Splatting
- Title（参考訳）: ZDySS -- ガウススティングを用いたゼロショットダイナミックシーンスティライゼーション
- Authors: Abhishek Saroha, Florian Hofherr, Mariia Gladkova, Cecilia Curreli, Or Litany, Daniel Cremers,
- Abstract要約: ゲーム映画製作や拡張現実、仮想現実など、様々な現実世界の応用において、模範的なイメージに基づくダイナミックなシーンのスタイリングが不可欠である。
我々は動的シーンのためのゼロショットスタイリングフレームワークであるDySSを紹介した。
本手法は,実世界の動的シーンにおけるテストにおける最先端のベースラインに対する性能とコヒーレンスを示す。
- 参考スコア（独自算出の注目度）: 41.678269742147066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stylizing a dynamic scene based on an exemplar image is critical for various real-world applications, including gaming, filmmaking, and augmented and virtual reality. However, achieving consistent stylization across both spatial and temporal dimensions remains a significant challenge. Most existing methods are designed for static scenes and often require an optimization process for each style image, limiting their adaptability. We introduce ZDySS, a zero-shot stylization framework for dynamic scenes, allowing our model to generalize to previously unseen style images at inference. Our approach employs Gaussian splatting for scene representation, linking each Gaussian to a learned feature vector that renders a feature map for any given view and timestamp. By applying style transfer on the learned feature vectors instead of the rendered feature map, we enhance spatio-temporal consistency across frames. Our method demonstrates superior performance and coherence over state-of-the-art baselines in tests on real-world dynamic scenes, making it a robust solution for practical applications.
- Abstract（参考訳）: ゲーム、映画製作、拡張現実、バーチャルリアリティーなど、様々な現実世界の応用において、模範的なイメージに基づくダイナミックなシーンのスタイリングが不可欠である。
しかし、空間次元と時間次元の両方で一貫したスタイル化を実現することは、依然として大きな課題である。
既存のほとんどのメソッドは静的なシーン用に設計されており、しばしば各スタイルのイメージに対して最適化プロセスを必要とし、適応性を制限する。
動的シーンのためのゼロショットスタイリングフレームワークであるZDySSを導入する。
提案手法では,各ガウスを任意のビューとタイムスタンプに特徴マップを描画する学習特徴ベクトルにリンクすることで,シーン表現にガウススプラッティングを用いる。
描画された特徴写像の代わりに学習した特徴ベクトルにスタイル転送を適用することにより、フレーム間の時空間整合性を高める。
本手法は,実世界の動的シーンにおけるテストにおける最先端のベースラインよりも優れた性能とコヒーレンスを示す。
関連論文リスト
- StyleMe3D: Stylization with Disentangled Priors by Multiple Encoders on 3D Gaussians [23.1385740508835]
StyleMe3Dは3D GSスタイルの転送のための総合的なフレームワークである。
マルチモーダルスタイルのコンディショニング、マルチレベルセマンティックアライメント、知覚的品質向上を統合している。
この作品は、フォトリアリスティックな3D GSと芸術的なスタイリング、ゲーム、バーチャルワールド、デジタルアートのアンロックを橋渡しする。
論文 参考訳（メタデータ） (2025-04-21T17:59:55Z) - Divide-and-Conquer: Dual-Hierarchical Optimization for Semantic 4D Gaussian Spatting [16.15871890842964]
本稿では,階層型ガウス流と階層型ガウス誘導からなるデュアル階層最適化(DHO)を提案する。
提案手法は,合成データセットと実世界のデータセットのベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2025-03-25T03:46:13Z) - Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling [64.84686527988809]
Deformable Gaussian Splattingは、現実世界のダイナミックなシーンを表現する堅牢なソリューションとして登場した。
提案手法は,古典的カーネル表現を用いて計算された密度ガウスの運動流を用いて,スパースアンカーグリッド表現を用いて動的シーンを定式化する。
2つの実世界のデータセットの実験により、EDGSはレンダリング速度を大幅に改善し、より優れたレンダリング品質を実現しています。
論文 参考訳（メタデータ） (2025-02-27T18:53:06Z) - 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。
本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。
このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。
特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - Gaussian Splatting in Style [32.41970914897462]
3Dシーン化は、ニューラルスタイルの3Dへの移行作業を拡張する。
この問題における重要な課題は、複数の視点でスタイリングされた外観の均一性を維持することである。
本稿では,実時間で高品質なスタイリングされた新しいビューを生成できる,スタイル画像のコレクションを訓練した新しいアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-03-13T13:06:31Z) - SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。
我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。
我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文 参考訳（メタデータ） (2023-12-20T03:54:03Z) - FlowIBR: Leveraging Pre-Training for Efficient Neural Image-Based Rendering of Dynamic Scenes [5.118560450410779]
FlowIBRは、動的シーンを効率よく一眼レフで見るための新しいアプローチである。
これは、広く利用可能な静的シーンの大きなコーパスで事前トレーニングされたニューラルイメージベースのレンダリング方法と、シーンごとの最適化されたシーンフローフィールドを統合する。
提案手法はシーンごとの最適化時間を桁違いに削減し,既存の手法に匹敵するレンダリング品質を実現する。
論文 参考訳（メタデータ） (2023-09-11T12:35:17Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Learning Diverse Tone Styles for Image Retouching [73.60013618215328]
本稿では,フローベースアーキテクチャの標準化により,多様な画像のリタッチを学習することを提案する。
ジョイントトレーニングパイプラインは、スタイルエンコーダ、条件付きRetouchNet、イメージトーンスタイル正規化フロー(TSFlow)モジュールで構成される。
提案手法は最先端の手法に対して良好に動作し,多様な結果を生成するのに有効である。
論文 参考訳（メタデータ） (2022-07-12T09:49:21Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳（メタデータ） (2021-12-02T18:59:59Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳（メタデータ） (2021-02-25T18:56:21Z) - Real-time Localized Photorealistic Video Style Transfer [25.91181753178577]
本稿では,対象映像の局所領域に意味論的に意味のある局所領域の芸術的スタイルを移すための新しいアルゴリズムを提案する。
近年のフォトリアリスティックなスタイル転送に触発されたディープニューラルネットワークアーキテクチャをベースとした本手法は,リアルタイムであり,任意の入力に作用する。
本手法は,複数のオブジェクトに異なるスタイルを同時に転送する機能を含む,様々なスタイルの画像やターゲットビデオに対して実証する。
論文 参考訳（メタデータ） (2020-10-20T06:21:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。