論文の概要: MM-NeRF: Multimodal-Guided 3D Multi-Style Transfer of Neural Radiance
Field
- arxiv url: http://arxiv.org/abs/2309.13607v1
- Date: Sun, 24 Sep 2023 11:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 18:45:47.215437
- Title: MM-NeRF: Multimodal-Guided 3D Multi-Style Transfer of Neural Radiance
Field
- Title(参考訳): MM-NeRF:マルチモーダルガイドによるニューラルラジアンス場の多次元移動
- Authors: Zijiang Yang, Zhongwei Qiu, Chang Xu, Dongmei Fu
- Abstract要約: 3Dスタイルの転送は、指定されたスタイルで3Dシーンの斬新なビューを描画することを目的としている。
既存の方法は、画像から参照スタイルを与えることで、スタイル化されたニューラルレージアンスフィールド(NeRF)を学習する。
MM-NeRFと呼ばれる,テクスチャの細部で高品質なレンダリングを実現する,新しいマルチモーダル誘導型3次元NeRFのマルチスタイル転送を提案する。
- 参考スコア(独自算出の注目度): 25.18088588418456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D style transfer aims to render stylized novel views of 3D scenes with the
specified style, which requires high-quality rendering and keeping multi-view
consistency. Benefiting from the ability of 3D representation from Neural
Radiance Field (NeRF), existing methods learn the stylized NeRF by giving a
reference style from an image. However, they suffer the challenges of
high-quality stylization with texture details for multi-style transfer and
stylization with multimodal guidance. In this paper, we reveal that the same
objects in 3D scenes show various states (color tone, details, etc.) from
different views after stylization since previous methods optimized by
single-view image-based style loss functions, leading NeRF to tend to smooth
texture details, further resulting in low-quality rendering. To tackle these
problems, we propose a novel Multimodal-guided 3D Multi-style transfer of NeRF,
termed MM-NeRF, which achieves high-quality 3D multi-style rendering with
texture details and can be driven by multimodal-style guidance. First, MM-NeRF
adopts a unified framework to project multimodal guidance into CLIP space and
extracts multimodal style features to guide the multi-style stylization. To
relieve the problem of lacking details, we propose a novel Multi-Head Learning
Scheme (MLS), in which each style head predicts the parameters of the color
head of NeRF. MLS decomposes the learning difficulty caused by the
inconsistency of multi-style transfer and improves the quality of stylization.
In addition, the MLS can generalize pre-trained MM-NeRF to any new styles by
adding heads with small training costs (a few minutes). Extensive experiments
on three real-world 3D scene datasets show that MM-NeRF achieves high-quality
3D multi-style stylization with multimodal guidance, keeps multi-view
consistency, and keeps semantic consistency of multimodal style guidance. Codes
will be released later.
- Abstract(参考訳): 3dスタイル転送は、3dシーンのスタイル化されたノベルビューを特定のスタイルで描画することを目的としている。
ニューラルラジアンス場(NeRF)からの3次元表現能力から、既存の手法では、画像から参照スタイルを与えることで、スタイリングされたNeRFを学習する。
しかし、マルチモーダルな指導によるマルチスタイル転送やスタイライゼーションのためのテクスチャの詳細を備えた高品質なスタイライゼーションの課題に苦しむ。
本稿では,3Dシーンにおける同一のオブジェクトが,単一ビュー画像に基づくスタイル損失関数によって最適化された従来手法から,様々な状態(色調,詳細など)をスタイリゼーション後に示しており,NeRFはスムーズなテクスチャディテールを呈し,さらに低品質なレンダリングをもたらすことを示した。
そこで本研究では, テクスチャディテールによる高品質な3dマルチスタイルレンダリングを実現し, マルチモーダル方式の指導により駆動できる, マルチモーダル誘導型3dマルチスタイルトランスファーmm-nerfを提案する。
まず、MM-NeRFは、CLIP空間にマルチモーダルガイダンスを投影する統合フレームワークを採用し、マルチモーダルスタイルの特徴を抽出し、マルチモーダルスタイルのスタイル化を導く。
そこで,本研究では,nerfのカラーヘッドのパラメータを各スタイルヘッドが予測するマルチヘッド学習方式(mls)を提案する。
MLSはマルチスタイル転送の不整合による学習困難を分解し、スタイリゼーションの品質を向上させる。
さらに、MLSはトレーニングコストの少ないヘッド(数分)を追加することで、事前訓練されたMM-NeRFを新しいスタイルに一般化することができる。
3つの実世界の3Dシーンデータセットの大規模な実験により、MM-NeRFはマルチモーダルガイダンスによる高品質な3Dマルチスタイルのスタイリングを実現し、マルチビューの一貫性を維持し、マルチモーダルスタイルのガイダンスのセマンティック一貫性を維持する。
コードは後日リリースされる。
関連論文リスト
- ${M^2D}$NeRF: Multi-Modal Decomposition NeRF with 3D Feature Fields [33.168225243348786]
テキストベースと視覚パッチベースの編集が可能な単一モデルであるM2D$NeRF(M2D$NeRF)を提案する。
具体的には,教師の特徴を事前学習した視覚モデルと言語モデルから3次元意味的特徴量へ統合するために,マルチモーダルな特徴蒸留を用いる。
実世界の様々な場面における実験は,従来のNeRF法と比較して3次元シーン分解作業において優れた性能を示した。
論文 参考訳(メタデータ) (2024-05-08T12:25:21Z) - Grounded Compositional and Diverse Text-to-3D with Pretrained Multi-View Diffusion Model [65.58911408026748]
複雑な合成文のプロンプトを正確に追従できる3Dアセットを生成するために,グラウンドド・ドレーマーを提案する。
まず,テキスト・ツー・3Dパイプラインのボトルネックとして,テキスト誘導4視点画像の活用を提唱する。
次に,テキストアラインな4ビュー画像生成を促すための注意再焦点機構を導入する。
論文 参考訳(メタデータ) (2024-04-28T04:05:10Z) - FPRF: Feed-Forward Photorealistic Style Transfer of Large-Scale 3D
Neural Radiance Fields [23.705795612467956]
FPRFは、任意の複数のスタイルの参照イメージを最適化することなく、大規模な3Dシーンをスタイリングする。
FPRFは、多彩な参照画像を持つ大規模シーンに対して、好適なフォトリアリスティック品質の3Dシーンスタイリングを実現する。
論文 参考訳(メタデータ) (2024-01-10T19:27:28Z) - Carve3D: Improving Multi-view Reconstruction Consistency for Diffusion Models with RL Finetuning [40.51051863133226]
さらなる強化学習ファインタニング(RLFT)の恩恵を受ける多視点拡散モデル
本稿では,改良されたRLFTアルゴリズムであるCarve3Dと,新しいMRC(Multi-view Reconstruction Consistency)メトリクスを紹介する。
この結果から,多視点拡散モデルの開発には,SFTとCarve3DのRLFTのペアリングが不可欠であることが示唆された。
論文 参考訳(メタデータ) (2023-12-21T16:10:33Z) - Beyond First Impressions: Integrating Joint Multi-modal Cues for
Comprehensive 3D Representation [72.94143731623117]
既存の方法は、単に3D表現を単一ビューの2D画像と粗い親カテゴリテキストに整列させる。
十分でないシナジーは、堅牢な3次元表現は共同視覚言語空間と一致すべきという考えを無視している。
我々は,JM3Dと呼ばれる多視点共同モダリティモデリング手法を提案し,点雲,テキスト,画像の統一表現を求める。
論文 参考訳(メタデータ) (2023-08-06T01:11:40Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳(メタデータ) (2023-03-19T08:26:06Z) - NeRF-Art: Text-Driven Neural Radiance Fields Stylization [38.3724634394761]
簡単なテキストプロンプトで事前学習したNeRFモデルのスタイルを操作するテキスト誘導型NeRFスタイリング手法であるNeRF-Artを提案する。
本手法は, シングルビューのスタイリゼーション品質とクロスビューの整合性の両方に関して, 有効かつ堅牢であることを示す。
論文 参考訳(メタデータ) (2022-12-15T18:59:58Z) - StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image
Synthesis [92.25145204543904]
StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。
ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。
高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
論文 参考訳(メタデータ) (2021-10-18T02:37:01Z) - 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。
提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。
選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
論文 参考訳(メタデータ) (2020-11-26T16:59:12Z) - Distribution Aligned Multimodal and Multi-Domain Image Stylization [76.74823384524814]
マルチモーダルおよびマルチドメインスタイル転送のための統一フレームワークを提案する。
提案手法の鍵となるコンポーネントは,新しいスタイル分布アライメントモジュールである。
我々は,様々な芸術様式やジャンルで絵画の様式を伝達する枠組みを検証した。
論文 参考訳(メタデータ) (2020-06-02T07:25:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。