論文の概要: StyleRF-VolVis: Style Transfer of Neural Radiance Fields for Expressive Volume Visualization
- arxiv url: http://arxiv.org/abs/2408.00150v1
- Date: Wed, 31 Jul 2024 20:26:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 22:25:51.394735
- Title: StyleRF-VolVis: Style Transfer of Neural Radiance Fields for Expressive Volume Visualization
- Title（参考訳）: スタイルRF-VolVis:表現量可視化のためのニューラルラジアンスフィールドのスタイル転送
- Authors: Kaiyuan Tang, Chaoli Wang,
- Abstract要約: StyleRF-VolVisは、ニューラルレイディアンスフィールド(NeRF)による表現量可視化(VolVis)のための革新的なスタイル転送フレームワークである
StyleRF-VolVisの表現力は、基礎となるシーン幾何学(内容)と色外観(スタイル)を正確に分離する能力によって支えられている。
様々なボリュームレンダリングシーンと参照画像を用いて、StyleRF-VolVisの優れた品質、一貫性、柔軟性を示す。
- 参考スコア（独自算出の注目度）: 5.37451655946513
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In volume visualization, visualization synthesis has attracted much attention due to its ability to generate novel visualizations without following the conventional rendering pipeline. However, existing solutions based on generative adversarial networks often require many training images and take significant training time. Still, issues such as low quality, consistency, and flexibility persist. This paper introduces StyleRF-VolVis, an innovative style transfer framework for expressive volume visualization (VolVis) via neural radiance field (NeRF). The expressiveness of StyleRF-VolVis is upheld by its ability to accurately separate the underlying scene geometry (i.e., content) and color appearance (i.e., style), conveniently modify color, opacity, and lighting of the original rendering while maintaining visual content consistency across the views, and effectively transfer arbitrary styles from reference images to the reconstructed 3D scene. To achieve these, we design a base NeRF model for scene geometry extraction, a palette color network to classify regions of the radiance field for photorealistic editing, and an unrestricted color network to lift the color palette constraint via knowledge distillation for non-photorealistic editing. We demonstrate the superior quality, consistency, and flexibility of StyleRF-VolVis by experimenting with various volume rendering scenes and reference images and comparing StyleRF-VolVis against other image-based (AdaIN), video-based (ReReVST), and NeRF-based (ARF and SNeRF) style rendering solutions.
- Abstract（参考訳）: ボリュームビジュアライゼーションでは、従来のレンダリングパイプラインに従わずに新しいビジュアライゼーションを生成する能力のために、可視化合成が注目されている。
しかし、生成的敵ネットワークに基づく既存のソリューションは、多くの訓練画像を必要とし、かなりの訓練時間を要することが多い。
それでも、低品質、一貫性、柔軟性といった問題は続いている。
本稿では,ニューラルラジアンスフィールド(NeRF)を用いた表現量可視化(VolVis)のための革新的なスタイル転送フレームワークであるStyleRF-VolVisを紹介する。
StyleRF-VolVisの表現力は、基礎となるシーン形状(コンテンツ)と色外観(スタイル)を正確に分離し、ビュー全体にわたって視覚的コンテントの一貫性を維持しつつ、色、透明度、照明を都合よく変更し、参照画像から再構成された3Dシーンへ任意のスタイルを効果的に転送する能力によって支えられている。
そこで我々は,シーン形状抽出のための基礎となるNeRFモデル,光リアル性編集のためのラディアンスフィールドの領域を分類するパレットカラーネットワーク,および非フォトリアル性編集のための知識蒸留によるカラーパレット制約を解除する無制限カラーネットワークを設計した。
本稿では,様々なボリュームレンダリングシーンと参照イメージを実験し,StyleRF-VolVisを他の画像ベース(AdaIN),ビデオベース(ReReVST),NeRFベース(ARFおよびSNeRF)スタイルレンダリングソリューションと比較することにより,StyleRF-VolVisの優れた品質,一貫性,柔軟性を実証する。
関連論文リスト
- G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles [45.92812062685523]
既存の3Dスタイル転送の方法は、シングルまたは複数スタイルのシーンごとの広範な最適化が必要である。
本研究では, シーンごとの最適化やスタイルごとの最適化を必要とせずに, NeRF からスタイリングされた新しいビューをレンダリングすることで, 既存の手法の限界を克服する。
以上の結果から,本手法はシーンごとの手法に匹敵する視覚的品質を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-08-24T08:04:19Z) - IE-NeRF: Inpainting Enhanced Neural Radiance Fields in the Wild [15.86621086993995]
本稿では,ニューラル・ラジアンス・フィールド(NeRF)と野生の無制御写真を用いて,リアルな新しいビューを合成するための新しいアプローチを提案する。
textitInpainting Enhanced NeRF, あるいは我々のフレームワークは, 画像インパインティング技術からインスピレーションを得て, 従来のNeRFを強化する。
論文 参考訳（メタデータ） (2024-07-15T13:10:23Z) - NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。
我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。
このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文 参考訳（メタデータ） (2024-05-23T17:59:57Z) - Anisotropic Neural Representation Learning for High-Quality Neural
Rendering [0.0]
本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。
我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
論文 参考訳（メタデータ） (2023-11-30T07:29:30Z) - Locally Stylized Neural Radiance Fields [30.037649804991315]
局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。
特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。
提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
論文 参考訳（メタデータ） (2023-09-19T15:08:10Z) - Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。
このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。
ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
論文 参考訳（メタデータ） (2023-04-10T08:36:00Z) - Neural Fields meet Explicit Geometric Representation for Inverse
Rendering of Urban Scenes [62.769186261245416]
本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。
具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
論文 参考訳（メタデータ） (2023-04-06T17:51:54Z) - StyleRF: Zero-shot 3D Style Transfer of Neural Radiance Fields [52.19291190355375]
StyleRF(Style Radiance Fields)は、革新的な3Dスタイル転送技術である。
3Dシーンを表現するために、高精細な特徴の明確なグリッドを使用し、ボリュームレンダリングによって高精細な幾何学を確実に復元することができる。
グリッド機能は参照スタイルに従って変換され、それが直接的に高品質のゼロショットスタイルの転送につながる。
論文 参考訳（メタデータ） (2023-03-19T08:26:06Z) - VToonify: Controllable High-Resolution Portrait Video Style Transfer [103.54337984566877]
制御可能な高解像度のポートレートビデオスタイル転送のための新しいVToonifyフレームワークを提案する。
エンコーダによって抽出されたマルチスケールのコンテンツ特徴に基づいて,StyleGANの中間層と高解像度層を利用して芸術的な肖像画を描画する。
我々のフレームワークは、既存のStyleGANベースの画像トーン化モデルと互換性があり、それらをビデオトーン化に拡張し、色と強度の柔軟なスタイル制御のためにこれらのモデルの魅力的な特徴を継承する。
論文 参考訳（メタデータ） (2022-09-22T17:59:10Z) - NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。
NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。
大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
論文 参考訳（メタデータ） (2020-10-15T03:24:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。