論文の概要: G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles

• arxiv url: http://arxiv.org/abs/2408.13508v1
• Date: Sat, 24 Aug 2024 08:04:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 19:19:21.603238
• Title: G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles
• Title（参考訳）: G3DST: シーンとスタイルにわたるニューラルラジアンス場を用いた3次元移動の一般化
• Authors: Adil Meric, Umut Kocasari, Matthias Nießner, Barbara Roessle,
• Abstract要約: 既存の3Dスタイル転送の方法は、シングルまたは複数スタイルのシーンごとの広範な最適化が必要である。 本研究では, シーンごとの最適化やスタイルごとの最適化を必要とせずに, NeRF からスタイリングされた新しいビューをレンダリングすることで, 既存の手法の限界を克服する。 以上の結果から,本手法はシーンごとの手法に匹敵する視覚的品質を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 45.92812062685523
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Radiance Fields (NeRF) have emerged as a powerful tool for creating highly detailed and photorealistic scenes. Existing methods for NeRF-based 3D style transfer need extensive per-scene optimization for single or multiple styles, limiting the applicability and efficiency of 3D style transfer. In this work, we overcome the limitations of existing methods by rendering stylized novel views from a NeRF without the need for per-scene or per-style optimization. To this end, we take advantage of a generalizable NeRF model to facilitate style transfer in 3D, thereby enabling the use of a single learned model across various scenes. By incorporating a hypernetwork into a generalizable NeRF, our approach enables on-the-fly generation of stylized novel views. Moreover, we introduce a novel flow-based multi-view consistency loss to preserve consistency across multiple views. We evaluate our method across various scenes and artistic styles and show its performance in generating high-quality and multi-view consistent stylized images without the need for a scene-specific implicit model. Our findings demonstrate that this approach not only achieves a good visual quality comparable to that of per-scene methods but also significantly enhances efficiency and applicability, marking a notable advancement in the field of 3D style transfer.
• Abstract（参考訳）: NeRF(Neural Radiance Fields)は、高精細でフォトリアリスティックなシーンを作るための強力なツールとして登場した。 既存のNeRFベースの3Dスタイル転送手法では、シングルまたは複数スタイルのシーンごとの最適化が必要であり、3Dスタイル転送の適用性と効率が制限される。 本研究では, シーンごとの最適化やスタイルごとの最適化を必要とせずに, NeRF からスタイリングされた新しいビューをレンダリングすることで, 既存の手法の限界を克服する。 この目的のために、一般化可能なNeRFモデルを利用して3次元のスタイル伝達を容易にし、様々な場面で1つの学習モデルを使用することを可能にした。 ハイパーネットワークを一般化可能なNeRFに組み込むことで,スタイリングされた新規ビューをオンザフライで生成することが可能になる。 さらに,複数のビューにまたがる一貫性を維持するために,新しいフローベース多視点整合性損失を導入する。 シーン固有の暗黙的モデルを必要としない高品質で多視点整合性のあるスタイリング画像を生成する上で,これらの手法を様々なシーンや芸術的スタイルで評価し,その性能を示す。 以上の結果から,本手法はシーンごとの手法に匹敵する良質な視覚的品質を実現するだけでなく,効率性や適用性も著しく向上し,3Dスタイル転送の分野における顕著な進歩を示すことが示唆された。

関連論文リスト

• Towards Multi-View Consistent Style Transfer with One-Step Diffusion via Vision Conditioning [12.43848969320173]
  提案手法により生成した異なる視点からのスティル化画像は、構造的整合性が良く、歪みも少ない、優れた視覚的品質を実現する。 本手法は,3次元情報のないスタイリング画像における構造情報と多視点整合性を効果的に保存する。
  論文  参考訳（メタデータ） (2024-11-15T12:02:07Z)
• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• Ada-adapter:Fast Few-shot Style Personlization of Diffusion Model with Pre-trained Image Encoder [57.574544285878794]
  Ada-Adapterは拡散モデルの少数ショットスタイルのパーソナライズのための新しいフレームワークである。 提案手法は,単一の参照画像を用いたゼロショット方式の効率的な転送を可能にする。 フラットアートや3Dレンダリング,ロゴデザインなど,さまざまな芸術的スタイルに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-08T02:00:17Z)
• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis [11.463969116010183]
  ArtNeRFは、3D対応のGANから派生した新しい顔スタイリングフレームワークである。 スタイル整合性を改善するために,スタイリングされた顔と三分岐判別器モジュールを合成する表現的ジェネレータを提案する。 実験により、ArtNeRFは任意のスタイルで高品質な3D対応マンガの顔を生成するのに多用途であることが示された。
  論文  参考訳（メタデータ） (2024-04-21T16:45:35Z)
• FPRF: Feed-Forward Photorealistic Style Transfer of Large-Scale 3D Neural Radiance Fields [23.705795612467956]
  FPRFは、任意の複数のスタイルの参照イメージを最適化することなく、大規模な3Dシーンをスタイリングする。 FPRFは、多彩な参照画像を持つ大規模シーンに対して、好適なフォトリアリスティック品質の3Dシーンスタイリングを実現する。
  論文  参考訳（メタデータ） (2024-01-10T19:27:28Z)
• Towards 4D Human Video Stylization [56.33756124829298]
  本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。 我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。 我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
  論文  参考訳（メタデータ） (2023-12-07T08:58:33Z)
• StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
  StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。 3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。 グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
  論文  参考訳（メタデータ） (2023-03-19T08:26:06Z)
• NeRF-Art: Text-Driven Neural Radiance Fields Stylization [38.3724634394761]
  簡単なテキストプロンプトで事前学習したNeRFモデルのスタイルを操作するテキスト誘導型NeRFスタイリング手法であるNeRF-Artを提案する。 本手法は, シングルビューのスタイリゼーション品質とクロスビューの整合性の両方に関して, 有効かつ堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:59:58Z)
• SNeRF: Stylized Neural Implicit Representations for 3D Scenes [9.151746397358522]
  本稿では,一貫した新規ビュー合成に強い帰納バイアスを与える3次元シーンスタイリングについて検討する。 我々は3次元シーン表現の選択として、新しい神経放射場(NeRF)を採用する。 我々は、NeRFとスタイリゼーション最適化のステップを交互に行い、この問題に対処する新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-05T23:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。