論文の概要: SNeRF: Stylized Neural Implicit Representations for 3D Scenes
- arxiv url: http://arxiv.org/abs/2207.02363v1
- Date: Tue, 5 Jul 2022 23:45:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-07 13:11:38.365889
- Title: SNeRF: Stylized Neural Implicit Representations for 3D Scenes
- Title(参考訳): SNeRF:3次元シーンのためのスティル化ニューラルインプシット表現
- Authors: Thu Nguyen-Phuoc, Feng Liu, Lei Xiao
- Abstract要約: 本稿では,一貫した新規ビュー合成に強い帰納バイアスを与える3次元シーンスタイリングについて検討する。
我々は3次元シーン表現の選択として、新しい神経放射場(NeRF)を採用する。
我々は、NeRFとスタイリゼーション最適化のステップを交互に行い、この問題に対処する新しいトレーニング手法を提案する。
- 参考スコア(独自算出の注目度): 9.151746397358522
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper presents a stylized novel view synthesis method. Applying
state-of-the-art stylization methods to novel views frame by frame often causes
jittering artifacts due to the lack of cross-view consistency. Therefore, this
paper investigates 3D scene stylization that provides a strong inductive bias
for consistent novel view synthesis. Specifically, we adopt the emerging neural
radiance fields (NeRF) as our choice of 3D scene representation for their
capability to render high-quality novel views for a variety of scenes. However,
as rendering a novel view from a NeRF requires a large number of samples,
training a stylized NeRF requires a large amount of GPU memory that goes beyond
an off-the-shelf GPU capacity. We introduce a new training method to address
this problem by alternating the NeRF and stylization optimization steps. Such a
method enables us to make full use of our hardware memory capacity to both
generate images at higher resolution and adopt more expressive image style
transfer methods. Our experiments show that our method produces stylized NeRFs
for a wide range of content, including indoor, outdoor and dynamic scenes, and
synthesizes high-quality novel views with cross-view consistency.
- Abstract(参考訳): 本稿では,新しいビュー合成手法を提案する。
フレームごとに新しいビューフレームに最先端のスタイリング手法を適用すると、クロスビュー一貫性の欠如により、しばしば混乱するアーティファクトが発生する。
そこで本稿では,一貫性のある新しい視点合成のための強い帰納的バイアスを与える3次元シーンスタイライゼーションについて検討する。
具体的には,次世代のニューラルレイディアンス・フィールド(NeRF)を3次元シーン表現の選択として採用し,様々な場面で高品質なニューラルビューを描画する。
しかし、NeRFから新しいビューをレンダリングするには大量のサンプルを必要とするため、スタイリングされたNeRFをトレーニングするには、既製のGPU容量を超える大量のGPUメモリが必要である。
本稿では,nrfとスタイライゼーション最適化ステップを交互に行う新しい学習手法を提案する。
このような手法により,高解像度で画像を生成するハードウェアメモリ容量をフル活用し,より表現力のある画像スタイルの転送手法を採用することができる。
実験により,室内,屋外,動的シーンを含む多種多様なコンテンツに対してスタイリングされたNeRFを生成し,高画質な新規ビューをクロスビューで合成することを確認した。
関連論文リスト
- Gaussian Splatting in Style [35.376015119962354]
テスト時に高品質なスタイリングされた新しいビューを生成できる,スタイルイメージのコレクションをトレーニングした新しいアーキテクチャを提案する。
本研究では,室内および屋外の様々な実世界のデータに対して,視覚的品質の優れた最先端性能を実現する方法を示す。
論文 参考訳(メタデータ) (2024-03-13T13:06:31Z) - Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-05T19:00:45Z) - Towards 4D Human Video Stylization [56.33756124829298]
本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。
我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。
我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
論文 参考訳(メタデータ) (2023-12-07T08:58:33Z) - Improving Neural Radiance Fields with Depth-aware Optimization for Novel
View Synthesis [12.3338393483795]
SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。
SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。
2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
論文 参考訳(メタデータ) (2023-04-11T13:37:17Z) - HDHumans: A Hybrid Approach for High-fidelity Digital Humans [107.19426606778808]
HDHumansは、正確な時間的コヒーレントな3D変形面を共同で生成する、HDヒューマン文字合成の最初の方法である。
我々の手法は、古典的表面変形とニューラル放射場(NeRF)の相乗効果を達成するために慎重に設計されている。
論文 参考訳(メタデータ) (2022-10-21T14:42:11Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳(メタデータ) (2022-07-12T17:52:04Z) - StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D
Mutual Learning [50.65015652968839]
3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。
最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。
本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-24T16:29:50Z) - Control-NeRF: Editable Feature Volumes for Scene Rendering and
Manipulation [58.16911861917018]
高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。
モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。
我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
論文 参考訳(メタデータ) (2022-04-22T17:57:00Z) - NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis [28.83180559337126]
本稿では,高解像度カラー画像とともに,距離関数として3次元シーン形状を復元できる新しいネットワークを提案する。
提案手法では,スパース画像のみを入力として使用し,新規なシーンによく対応できる。
論文 参考訳(メタデータ) (2021-08-09T08:59:24Z) - Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
論文 参考訳(メタデータ) (2021-05-27T09:11:30Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳(メタデータ) (2020-12-03T18:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。