論文の概要: SNeRF: Stylized Neural Implicit Representations for 3D Scenes

• arxiv url: http://arxiv.org/abs/2207.02363v1
• Date: Tue, 5 Jul 2022 23:45:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-07 13:11:38.365889
• Title: SNeRF: Stylized Neural Implicit Representations for 3D Scenes
• Title（参考訳）: SNeRF:3次元シーンのためのスティル化ニューラルインプシット表現
• Authors: Thu Nguyen-Phuoc, Feng Liu, Lei Xiao
• Abstract要約: 本稿では,一貫した新規ビュー合成に強い帰納バイアスを与える3次元シーンスタイリングについて検討する。 我々は3次元シーン表現の選択として、新しい神経放射場(NeRF)を採用する。 我々は、NeRFとスタイリゼーション最適化のステップを交互に行い、この問題に対処する新しいトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 9.151746397358522
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper presents a stylized novel view synthesis method. Applying state-of-the-art stylization methods to novel views frame by frame often causes jittering artifacts due to the lack of cross-view consistency. Therefore, this paper investigates 3D scene stylization that provides a strong inductive bias for consistent novel view synthesis. Specifically, we adopt the emerging neural radiance fields (NeRF) as our choice of 3D scene representation for their capability to render high-quality novel views for a variety of scenes. However, as rendering a novel view from a NeRF requires a large number of samples, training a stylized NeRF requires a large amount of GPU memory that goes beyond an off-the-shelf GPU capacity. We introduce a new training method to address this problem by alternating the NeRF and stylization optimization steps. Such a method enables us to make full use of our hardware memory capacity to both generate images at higher resolution and adopt more expressive image style transfer methods. Our experiments show that our method produces stylized NeRFs for a wide range of content, including indoor, outdoor and dynamic scenes, and synthesizes high-quality novel views with cross-view consistency.
• Abstract（参考訳）: 本稿では,新しいビュー合成手法を提案する。 フレームごとに新しいビューフレームに最先端のスタイリング手法を適用すると、クロスビュー一貫性の欠如により、しばしば混乱するアーティファクトが発生する。 そこで本稿では,一貫性のある新しい視点合成のための強い帰納的バイアスを与える3次元シーンスタイライゼーションについて検討する。 具体的には,次世代のニューラルレイディアンス・フィールド(NeRF)を3次元シーン表現の選択として採用し,様々な場面で高品質なニューラルビューを描画する。 しかし、NeRFから新しいビューをレンダリングするには大量のサンプルを必要とするため、スタイリングされたNeRFをトレーニングするには、既製のGPU容量を超える大量のGPUメモリが必要である。 本稿では,nrfとスタイライゼーション最適化ステップを交互に行う新しい学習手法を提案する。 このような手法により,高解像度で画像を生成するハードウェアメモリ容量をフル活用し,より表現力のある画像スタイルの転送手法を採用することができる。 実験により,室内,屋外,動的シーンを含む多種多様なコンテンツに対してスタイリングされたNeRFを生成し,高画質な新規ビューをクロスビューで合成することを確認した。

関連論文リスト

• ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
  単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。 提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
  論文  参考訳（メタデータ） (2024-09-03T16:53:19Z)
• G3DST: Generalizing 3D Style Transfer with Neural Radiance Fields across Scenes and Styles [45.92812062685523]
  既存の3Dスタイル転送の方法は、シングルまたは複数スタイルのシーンごとの広範な最適化が必要である。 本研究では, シーンごとの最適化やスタイルごとの最適化を必要とせずに, NeRF からスタイリングされた新しいビューをレンダリングすることで, 既存の手法の限界を克服する。 以上の結果から,本手法はシーンごとの手法に匹敵する視覚的品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-08-24T08:04:19Z)
• ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis [11.463969116010183]
  ArtNeRFは、3D対応のGANから派生した新しい顔スタイリングフレームワークである。 スタイル整合性を改善するために,スタイリングされた顔と三分岐判別器モジュールを合成する表現的ジェネレータを提案する。 実験により、ArtNeRFは任意のスタイルで高品質な3D対応マンガの顔を生成するのに多用途であることが示された。
  論文  参考訳（メタデータ） (2024-04-21T16:45:35Z)
• Towards 4D Human Video Stylization [56.33756124829298]
  本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。 我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。 我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
  論文  参考訳（メタデータ） (2023-12-07T08:58:33Z)
• HDHumans: A Hybrid Approach for High-fidelity Digital Humans [107.19426606778808]
  HDHumansは、正確な時間的コヒーレントな3D変形面を共同で生成する、HDヒューマン文字合成の最初の方法である。 我々の手法は、古典的表面変形とニューラル放射場(NeRF)の相乗効果を達成するために慎重に設計されている。
  論文  参考訳（メタデータ） (2022-10-21T14:42:11Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis [28.83180559337126]
  本稿では,高解像度カラー画像とともに,距離関数として3次元シーン形状を復元できる新しいネットワークを提案する。 提案手法では,スパース画像のみを入力として使用し,新規なシーンによく対応できる。
  論文  参考訳（メタデータ） (2021-08-09T08:59:24Z)
• Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
  簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。 ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。 本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2021-05-27T09:11:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。