論文の概要: S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2403.06205v2
• Date: Wed, 13 Mar 2024 03:45:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 10:59:14.245646
• Title: S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes
• Title（参考訳）: S-DyRF:ダイナミックシーンのための基準ベーススティル化放射場
• Authors: Xingyi Li, Zhiguo Cao, Yizheng Wu, Kewei Wang, Ke Xian, Zhe Wang, Guosheng Lin
• Abstract要約: 現在の3Dスタイリング手法は、現実世界の動的な性質に反する静的なシーンを想定することが多い。 本稿では,動的ニューラルネットワークのための参照型時間スタイリング手法であるS-DyRFを提案する。 合成と実世界の両方のデータセットを用いた実験により,本手法が有意なスタイリング結果をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 60.96566297340525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current 3D stylization methods often assume static scenes, which violates the dynamic nature of our real world. To address this limitation, we present S-DyRF, a reference-based spatio-temporal stylization method for dynamic neural radiance fields. However, stylizing dynamic 3D scenes is inherently challenging due to the limited availability of stylized reference images along the temporal axis. Our key insight lies in introducing additional temporal cues besides the provided reference. To this end, we generate temporal pseudo-references from the given stylized reference. These pseudo-references facilitate the propagation of style information from the reference to the entire dynamic 3D scene. For coarse style transfer, we enforce novel views and times to mimic the style details present in pseudo-references at the feature level. To preserve high-frequency details, we create a collection of stylized temporal pseudo-rays from temporal pseudo-references. These pseudo-rays serve as detailed and explicit stylization guidance for achieving fine style transfer. Experiments on both synthetic and real-world datasets demonstrate that our method yields plausible stylized results of space-time view synthesis on dynamic 3D scenes.
• Abstract（参考訳）: 現在の3Dスタイリング手法は、現実世界の動的な性質に反する静的なシーンを想定することが多い。 この制限に対処するため、S-DyRFは動的神経放射場のための参照型時空間スタイリング法である。 しかし、時間軸に沿ってスタイリングされた参照画像が限られているため、動的3Dシーンのスタイリングは本質的に困難である。 私たちの重要な洞察は、提供された参照に加えて、追加の時間的手がかりを導入することです。 この目的のために、与えられたスタイル化された参照から時間的擬似参照を生成する。 これらの擬似参照は、動的3Dシーン全体の参照からスタイル情報の伝播を促進する。 粗いスタイルの転送には、特徴レベルでの擬似参照に現れるスタイルの詳細を模倣するために、新しいビューと時間を強制する。 高周波の詳細を保存するために、時間的擬似参照からスタイル化された時間的擬似画像のコレクションを作成する。 これらの擬似光線は、細かなスタイル転送を実現するための詳細で明示的なスタイリングガイダンスとして機能する。 合成, 実世界の両方のデータセットを用いた実験により, 動的3次元シーンにおける時空間ビュー合成の高機能なスタイリング結果が得られた。

関連論文リスト

• GAST: Sequential Gaussian Avatars with Hierarchical Spatio-temporal Context [7.6736633105043515]
  3D人間のアバターは、標準放射場とフレームごとの歪みを観察することで、高忠実なレンダリングとアニメーションを可能にします。 空間SMPL(-X)のポーズや時間埋め込みに依存する既存の手法は、それぞれ粗い品質や限られたアニメーションの柔軟性に悩まされている。 空間情報と時間情報の両方を階層的に統合することで、3DGSと3DGSを統合化するためのフレームワークであるGASTを提案する。
  論文  参考訳（メタデータ） (2024-11-25T04:05:19Z)
• Reference-based Controllable Scene Stylization with Gaussian Splatting [30.321151430263946]
  コンテンツアラインな参照画像に基づいて外観を編集する参照ベースシーンスタイリングは、新たな研究領域である。 参照型スタイリゼーションに3Dガウススティング(3DGS)を適用し,リアルタイムなスタイリゼーションを実現するReGSを提案する。
  論文  参考訳（メタデータ） (2024-07-09T20:30:29Z)
• StylizedGS: Controllable Stylization for 3D Gaussian Splatting [53.0225128090909]
  StylizedGSは知覚因子を適応的に制御する効率的な3Dニューラルスタイル転送フレームワークである。 本手法は,忠実なブラシストロークとフレキシブル制御による幾何整合性を特徴とする高品質なスタイリゼーションを実現する。
  論文  参考訳（メタデータ） (2024-04-08T06:32:11Z)
• ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation Fields [26.833265073162696]
  ゼロショットスタイリングの新しい手法であるConRFを紹介する。 我々は、CLIP特徴空間を事前訓練されたVGGネットワークのスタイル空間にマッピングする変換プロセスを採用する。 また,局所的なスタイル転送を行うために3次元ボリューム表現を用いる。
  論文  参考訳（メタデータ） (2024-02-02T23:12:16Z)
• GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
  本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。 提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-01T18:14:42Z)
• Towards 4D Human Video Stylization [56.33756124829298]
  本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。 我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。 我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
  論文  参考訳（メタデータ） (2023-12-07T08:58:33Z)
• S2RF: Semantically Stylized Radiance Fields [1.243080988483032]
  本稿では,任意の画像からオブジェクトへスタイルを3Dシーンで転送する手法を提案する。 我々の主な目的は、3Dシーンのスタイリングをより制御し、任意の視点からカスタマイズ可能でスタイリングされたシーン画像の作成を容易にすることである。
  論文  参考訳（メタデータ） (2023-09-03T19:32:49Z)
• SpOT: Spatiotemporal Modeling for 3D Object Tracking [68.12017780034044]
  3Dマルチオブジェクトトラッキングは、常にすべてのモバイル時間を特定することを目的としている。 現在の3Dトラッキング手法は、抽象化された情報と限られた歴史に依存している。 本研究では,空間的情報と時間的情報の両方を活用するシーンの全体的表現を開発する。
  論文  参考訳（メタデータ） (2022-07-12T21:45:49Z)
• ARF: Artistic Radiance Fields [63.79314417413371]
  本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。 点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。 より頑健なラディアンス場表現の体系化を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:55:31Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。