論文の概要: S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2403.06205v2
- Date: Wed, 13 Mar 2024 03:45:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 10:59:14.245646
- Title: S-DyRF: Reference-Based Stylized Radiance Fields for Dynamic Scenes
- Title(参考訳): S-DyRF:ダイナミックシーンのための基準ベーススティル化放射場
- Authors: Xingyi Li, Zhiguo Cao, Yizheng Wu, Kewei Wang, Ke Xian, Zhe Wang,
Guosheng Lin
- Abstract要約: 現在の3Dスタイリング手法は、現実世界の動的な性質に反する静的なシーンを想定することが多い。
本稿では,動的ニューラルネットワークのための参照型時間スタイリング手法であるS-DyRFを提案する。
合成と実世界の両方のデータセットを用いた実験により,本手法が有意なスタイリング結果をもたらすことが示された。
- 参考スコア(独自算出の注目度): 60.96566297340525
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current 3D stylization methods often assume static scenes, which violates the
dynamic nature of our real world. To address this limitation, we present
S-DyRF, a reference-based spatio-temporal stylization method for dynamic neural
radiance fields. However, stylizing dynamic 3D scenes is inherently challenging
due to the limited availability of stylized reference images along the temporal
axis. Our key insight lies in introducing additional temporal cues besides the
provided reference. To this end, we generate temporal pseudo-references from
the given stylized reference. These pseudo-references facilitate the
propagation of style information from the reference to the entire dynamic 3D
scene. For coarse style transfer, we enforce novel views and times to mimic the
style details present in pseudo-references at the feature level. To preserve
high-frequency details, we create a collection of stylized temporal pseudo-rays
from temporal pseudo-references. These pseudo-rays serve as detailed and
explicit stylization guidance for achieving fine style transfer. Experiments on
both synthetic and real-world datasets demonstrate that our method yields
plausible stylized results of space-time view synthesis on dynamic 3D scenes.
- Abstract(参考訳): 現在の3Dスタイリング手法は、現実世界の動的な性質に反する静的なシーンを想定することが多い。
この制限に対処するため、S-DyRFは動的神経放射場のための参照型時空間スタイリング法である。
しかし、時間軸に沿ってスタイリングされた参照画像が限られているため、動的3Dシーンのスタイリングは本質的に困難である。
私たちの重要な洞察は、提供された参照に加えて、追加の時間的手がかりを導入することです。
この目的のために、与えられたスタイル化された参照から時間的擬似参照を生成する。
これらの擬似参照は、動的3Dシーン全体の参照からスタイル情報の伝播を促進する。
粗いスタイルの転送には、特徴レベルでの擬似参照に現れるスタイルの詳細を模倣するために、新しいビューと時間を強制する。
高周波の詳細を保存するために、時間的擬似参照からスタイル化された時間的擬似画像のコレクションを作成する。
これらの擬似光線は、細かなスタイル転送を実現するための詳細で明示的なスタイリングガイダンスとして機能する。
合成, 実世界の両方のデータセットを用いた実験により, 動的3次元シーンにおける時空間ビュー合成の高機能なスタイリング結果が得られた。
関連論文リスト
- ConRF: Zero-shot Stylization of 3D Scenes with Conditioned Radiation
Fields [26.833265073162696]
ゼロショットスタイリングの新しい手法であるConRFを紹介する。
我々は、CLIP特徴空間を事前訓練されたVGGネットワークのスタイル空間にマッピングする変換プロセスを採用する。
また,局所的なスタイル転送を行うために3次元ボリューム表現を用いる。
論文 参考訳(メタデータ) (2024-02-02T23:12:16Z) - Towards 4D Human Video Stylization [56.33756124829298]
本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。
我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。
我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
論文 参考訳(メタデータ) (2023-12-07T08:58:33Z) - Deformable 3D Gaussians for High-Fidelity Monocular Dynamic Scene
Reconstruction [29.83056271799794]
暗黙の神経表現は、動的なシーンの再構築とレンダリングに対する新しいアプローチの道を開いた。
本稿では,3次元ガウシアンを用いてシーンを再構成し,標準空間で学習する,変形可能な3次元ガウシアンスプラッティング法を提案する。
微分ガウシアン化器により、変形可能な3Dガウシアンは高いレンダリング品質だけでなく、リアルタイムレンダリング速度も達成できる。
論文 参考訳(メタデータ) (2023-09-22T16:04:02Z) - S2RF: Semantically Stylized Radiance Fields [1.243080988483032]
本稿では,任意の画像からオブジェクトへスタイルを3Dシーンで転送する手法を提案する。
我々の主な目的は、3Dシーンのスタイリングをより制御し、任意の視点からカスタマイズ可能でスタイリングされたシーン画像の作成を容易にすることである。
論文 参考訳(メタデータ) (2023-09-03T19:32:49Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳(メタデータ) (2023-03-19T08:26:06Z) - SpOT: Spatiotemporal Modeling for 3D Object Tracking [68.12017780034044]
3Dマルチオブジェクトトラッキングは、常にすべてのモバイル時間を特定することを目的としている。
現在の3Dトラッキング手法は、抽象化された情報と限られた歴史に依存している。
本研究では,空間的情報と時間的情報の両方を活用するシーンの全体的表現を開発する。
論文 参考訳(メタデータ) (2022-07-12T21:45:49Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳(メタデータ) (2022-06-13T17:55:31Z) - StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
屋内シーンのメッシュ再構成にスタイル転送を適用する。
これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
論文 参考訳(メタデータ) (2021-12-02T18:59:59Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳(メタデータ) (2021-05-27T23:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。