論文の概要: ZDySS -- Zero-Shot Dynamic Scene Stylization using Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2501.03875v1
• Date: Tue, 07 Jan 2025 15:39:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:49:23.103766
• Title: ZDySS -- Zero-Shot Dynamic Scene Stylization using Gaussian Splatting
• Title（参考訳）: ZDySS -- ガウススティングを用いたゼロショットダイナミックシーンスティライゼーション
• Authors: Abhishek Saroha, Florian Hofherr, Mariia Gladkova, Cecilia Curreli, Or Litany, Daniel Cremers,
• Abstract要約: ゲーム映画製作や拡張現実、仮想現実など、様々な現実世界の応用において、模範的なイメージに基づくダイナミックなシーンのスタイリングが不可欠である。 我々は動的シーンのためのゼロショットスタイリングフレームワークであるDySSを紹介した。 本手法は,実世界の動的シーンにおけるテストにおける最先端のベースラインに対する性能とコヒーレンスを示す。
• 参考スコア（独自算出の注目度）: 41.678269742147066
• License:
• Abstract: Stylizing a dynamic scene based on an exemplar image is critical for various real-world applications, including gaming, filmmaking, and augmented and virtual reality. However, achieving consistent stylization across both spatial and temporal dimensions remains a significant challenge. Most existing methods are designed for static scenes and often require an optimization process for each style image, limiting their adaptability. We introduce ZDySS, a zero-shot stylization framework for dynamic scenes, allowing our model to generalize to previously unseen style images at inference. Our approach employs Gaussian splatting for scene representation, linking each Gaussian to a learned feature vector that renders a feature map for any given view and timestamp. By applying style transfer on the learned feature vectors instead of the rendered feature map, we enhance spatio-temporal consistency across frames. Our method demonstrates superior performance and coherence over state-of-the-art baselines in tests on real-world dynamic scenes, making it a robust solution for practical applications.
• Abstract（参考訳）: ゲーム、映画製作、拡張現実、バーチャルリアリティーなど、様々な現実世界の応用において、模範的なイメージに基づくダイナミックなシーンのスタイリングが不可欠である。 しかし、空間次元と時間次元の両方で一貫したスタイル化を実現することは、依然として大きな課題である。 既存のほとんどのメソッドは静的なシーン用に設計されており、しばしば各スタイルのイメージに対して最適化プロセスを必要とし、適応性を制限する。 動的シーンのためのゼロショットスタイリングフレームワークであるZDySSを導入する。 提案手法では,各ガウスを任意のビューとタイムスタンプに特徴マップを描画する学習特徴ベクトルにリンクすることで,シーン表現にガウススプラッティングを用いる。 描画された特徴写像の代わりに学習した特徴ベクトルにスタイル転送を適用することにより、フレーム間の時空間整合性を高める。 本手法は,実世界の動的シーンにおけるテストにおける最先端のベースラインよりも優れた性能とコヒーレンスを示す。

関連論文リスト

• SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction [24.33543853742041]
  3Dガウススティング(3DGS)は実用的でスケーラブルな再構築手法として登場した。 暗黙的ニューラルネットワークの出力としてモデル化することで,スプレート特徴を効果的に正規化する最適化手法を提案する。 当社のアプローチは,異なるセットアップやシーンの複雑さをまたいだ広範なテストによって実証されるような,静的および動的ケースを効果的に処理する。
  論文  参考訳（メタデータ） (2024-09-17T14:04:20Z)
• StyleSplat: 3D Object Style Transfer with Gaussian Splatting [0.3374875022248866]
  スタイル転送は、さまざまな芸術スタイルで3Dアセットを強化し、創造的な表現を変革する。 本稿では,3次元ガウス表現シーンにおける3次元オブジェクトのスタイリング手法であるStyleSplatを紹介する。 様々な3Dシーンやスタイルにまたがって有効性を示し、3D生成における制御とカスタマイズの強化を示す。
  論文  参考訳（メタデータ） (2024-07-12T17:55:08Z)
• S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes [58.05447927353328]
  現在の3Dスタイリング手法は、現実世界の動的な性質に反する静的なシーンを想定することが多い。 本稿では,動的ニューラルネットワークのための参照型時間スタイリング手法であるS-DyRFを提案する。 合成と実世界の両方のデータセットを用いた実験により,本手法が有意なスタイリング結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2024-03-10T13:04:01Z)
• SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
  我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。 我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。 我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
  論文  参考訳（メタデータ） (2023-12-20T03:54:03Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Learning Diverse Tone Styles for Image Retouching [73.60013618215328]
  本稿では,フローベースアーキテクチャの標準化により,多様な画像のリタッチを学習することを提案する。 ジョイントトレーニングパイプラインは、スタイルエンコーダ、条件付きRetouchNet、イメージトーンスタイル正規化フロー(TSFlow)モジュールで構成される。 提案手法は最先端の手法に対して良好に動作し,多様な結果を生成するのに有効である。
  論文  参考訳（メタデータ） (2022-07-12T09:49:21Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
  本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。 レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
  論文  参考訳（メタデータ） (2021-02-25T18:56:21Z)
• Real-time Localized Photorealistic Video Style Transfer [25.91181753178577]
  本稿では,対象映像の局所領域に意味論的に意味のある局所領域の芸術的スタイルを移すための新しいアルゴリズムを提案する。 近年のフォトリアリスティックなスタイル転送に触発されたディープニューラルネットワークアーキテクチャをベースとした本手法は,リアルタイムであり,任意の入力に作用する。 本手法は,複数のオブジェクトに異なるスタイルを同時に転送する機能を含む,様々なスタイルの画像やターゲットビデオに対して実証する。
  論文  参考訳（メタデータ） (2020-10-20T06:21:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。