論文の概要: StyleDyRF: Zero-shot 4D Style Transfer for Dynamic Neural Radiance
Fields
- arxiv url: http://arxiv.org/abs/2403.08310v1
- Date: Wed, 13 Mar 2024 07:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:16:07.571271
- Title: StyleDyRF: Zero-shot 4D Style Transfer for Dynamic Neural Radiance
Fields
- Title（参考訳）: StyleDyRF: ダイナミックニューラルラジアンスのためのゼロショット4Dスタイル転送
フィールド
- Authors: Hongbin Xu, Weitao Chen, Feng Xiao, Baigui Sun, Wenxiong Kang
- Abstract要約: 既存の3Dスタイル転送の取り組みは、スタイル画像とニューラルレイディアンスフィールド(NeRF)の視覚的特徴を効果的に組み合わせることができる
本稿では,4次元特徴量を表す手法であるStyleDyRFを紹介する。
提案手法は、4Dフォトリアリスティックなスタイルの転送結果をゼロショット方式でレンダリングするだけでなく、視覚的品質と一貫性の点で既存の手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 21.55426133036809
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 4D style transfer aims at transferring arbitrary visual style to the
synthesized novel views of a dynamic 4D scene with varying viewpoints and
times. Existing efforts on 3D style transfer can effectively combine the visual
features of style images and neural radiance fields (NeRF) but fail to handle
the 4D dynamic scenes limited by the static scene assumption. Consequently, we
aim to handle the novel challenging problem of 4D style transfer for the first
time, which further requires the consistency of stylized results on dynamic
objects. In this paper, we introduce StyleDyRF, a method that represents the 4D
feature space by deforming a canonical feature volume and learns a linear style
transformation matrix on the feature volume in a data-driven fashion. To obtain
the canonical feature volume, the rays at each time step are deformed with the
geometric prior of a pre-trained dynamic NeRF to render the feature map under
the supervision of pre-trained visual encoders. With the content and style cues
in the canonical feature volume and the style image, we can learn the style
transformation matrix from their covariance matrices with lightweight neural
networks. The learned style transformation matrix can reflect a direct matching
of feature covariance from the content volume to the given style pattern, in
analogy with the optimization of the Gram matrix in traditional 2D neural style
transfer. The experimental results show that our method not only renders 4D
photorealistic style transfer results in a zero-shot manner but also
outperforms existing methods in terms of visual quality and consistency.
- Abstract（参考訳）: 4Dスタイルのトランスファーは、動的4Dシーンの様々な視点と時間で合成された新しいビューに任意の視覚スタイルを転送することを目的としている。
既存の3Dスタイル転送の取り組みは、スタイル画像とニューラルレイディアンスフィールド(NeRF)の視覚的特徴を効果的に組み合わせることができるが、静的なシーン仮定によって制限された4Dダイナミックシーンの処理には失敗する。
その結果,動的オブジェクト上でのスタイル化結果の整合性も要求される4Dスタイル転送の難解な問題に,初めて対処することを目指している。
本稿では,標準特徴量の変形による4次元特徴空間を表現する手法であるStyleDyRFを紹介し,特徴量の線形変換行列をデータ駆動方式で学習する。
標準特徴量を得るには、予め訓練されたダイナミックNeRFの幾何学的先行で各タイムステップの光線を変形させ、予め訓練されたビジュアルエンコーダの監督の下で特徴マップを描画する。
標準特徴量とスタイル画像の内容とスタイルの手がかりにより、我々は軽量ニューラルネットワークとの共分散行列からスタイル変換行列を学習することができる。
学習されたスタイル変換行列は、従来の2次元ニューラルスタイル転送におけるグラム行列の最適化と類似して、コンテンツボリュームから所定のスタイルパターンへの特徴共分散の直接一致を反映することができる。
実験の結果,本手法は4次元フォトリアリスティックなスタイルの転送結果をゼロショット方式でレンダリングするだけでなく,視覚的品質と一貫性の点で既存手法よりも優れていた。
関連論文リスト
- 4DStyleGaussian: Zero-shot 4D Style Transfer with Gaussian Splatting [15.456479631131522]
任意のスタイル参照のリアルタイムスタイリングを実現するための新しい4Dスタイル転送フレームワークである4DStyleGaussianを紹介する。
提案手法は,高効率・時空間整合性を有する4次元シナリオの高品質・ゼロショットスタイリングを実現する。
論文 参考訳（メタデータ） (2024-10-14T12:03:00Z) - Dynamic Scene Understanding through Object-Centric Voxelization and Neural Rendering [57.895846642868904]
オブジェクト中心学習が可能な動的シーンのための3次元生成モデルDynaVol-Sを提案する。
ボキセル化は、個々の空間的位置において、物体ごとの占有確率を推定する。
提案手法は2次元セマンティックな特徴を統合して3次元セマンティック・グリッドを作成し,複数の不整合ボクセル・グリッドを通してシーンを表現する。
論文 参考訳（メタデータ） (2024-07-30T15:33:58Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳（メタデータ） (2023-12-21T11:41:02Z) - A Unified Approach for Text- and Image-guided 4D Scene Generation [58.658768832653834]
本研究では,テキストから4Dへの新たな2段階合成手法であるDream-in-4Dを提案する。
提案手法は,画像の画質,3次元整合性,テキスト・ツー・4次元生成におけるテキストの忠実度を著しく向上することを示す。
本手法は,テキストから4D,画像から4D,パーソナライズされた4D生成タスクに対して,初めて統一されたアプローチを提供する。
論文 参考訳（メタデータ） (2023-11-28T15:03:53Z) - Real-time Photorealistic Dynamic Scene Representation and Rendering with
4D Gaussian Splatting [8.078460597825142]
2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。
本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。
我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
論文 参考訳（メタデータ） (2023-10-16T17:57:43Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳（メタデータ） (2023-03-19T08:26:06Z) - NeRF-Art: Text-Driven Neural Radiance Fields Stylization [38.3724634394761]
簡単なテキストプロンプトで事前学習したNeRFモデルのスタイルを操作するテキスト誘導型NeRFスタイリング手法であるNeRF-Artを提案する。
本手法は, シングルビューのスタイリゼーション品質とクロスビューの整合性の両方に関して, 有効かつ堅牢であることを示す。
論文 参考訳（メタデータ） (2022-12-15T18:59:58Z) - Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2021-05-27T09:11:30Z) - Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。
私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
論文 参考訳（メタデータ） (2020-12-17T17:54:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。