論文の概要: Stylizing 3D Scene via Implicit Representation and HyperNetwork
- arxiv url: http://arxiv.org/abs/2105.13016v1
- Date: Thu, 27 May 2021 09:11:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-28 16:20:23.119540
- Title: Stylizing 3D Scene via Implicit Representation and HyperNetwork
- Title（参考訳）: 命令表現とハイパーネットワークによる3次元シーンのスタイリング
- Authors: Pei-Ze Chiang, Meng-Shiun Tsai, Hung-Yu Tseng, Wei-sheng Lai, Wei-Chen
Chiu
- Abstract要約: 簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
- 参考スコア（独自算出の注目度）: 34.22448260525455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we aim to address the 3D scene stylization problem - generating
stylized images of the scene at arbitrary novel view angles. A straightforward
solution is to combine existing novel view synthesis and image/video style
transfer approaches, which often leads to blurry results or inconsistent
appearance. Inspired by the high quality results of the neural radiance fields
(NeRF) method, we propose a joint framework to directly render novel views with
the desired style. Our framework consists of two components: an implicit
representation of the 3D scene with the neural radiance field model, and a
hypernetwork to transfer the style information into the scene representation.
In particular, our implicit representation model disentangles the scene into
the geometry and appearance branches, and the hypernetwork learns to predict
the parameters of the appearance branch from the reference style image. To
alleviate the training difficulties and memory burden, we propose a two-stage
training procedure and a patch sub-sampling approach to optimize the style and
content losses with the neural radiance field model. After optimization, our
model is able to render consistent novel views at arbitrary view angles with
arbitrary style. Both quantitative evaluation and human subject study have
demonstrated that the proposed method generates faithful stylization results
with consistent appearance across different views.
- Abstract（参考訳）: 本研究では,任意の視点でシーンのスタイリング画像を生成する3Dシーンスタイリング問題に対処することを目的とする。
単純な解決策は、既存の新しいビュー合成と画像/ビデオスタイル転送を組み合わせることで、しばしばぼやけた結果や一貫性のない外観につながる。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
特に、暗黙的表現モデルは、シーンを幾何学的および外見的分岐に切り離し、ハイパーネットワークは、参照スタイル画像から外見的分岐のパラメータを予測することを学習する。
トレーニングの困難さと記憶負荷を軽減するため,ニューラルレイディアンスフィールドモデルを用いて2段階のトレーニング手順とパッチサブサンプリング手法を提案し,そのスタイルと内容の損失を最適化する。
最適化後は、任意のビュー角で一貫した新しいビューを任意のスタイルでレンダリングすることができる。
定量的評価と人体実験の両方で,異なる視点で一貫した外観の忠実なスタイリゼーション結果が得られた。
関連論文リスト
- Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳（メタデータ） (2023-12-24T08:42:37Z) - Instant Photorealistic Neural Radiance Fields Stylization [1.039189397779466]
Instant Neural Radiance Fields Stylizationは3Dシーンのマルチビュー画像スタイリングのための新しいアプローチである。
我々のアプローチは、位置埋め込みにハッシュテーブルベースの位置エンコーダを使用するニューラルネットワークプリミティブに基づく神経放射場をモデル化する。
最新のGPUハードウェアでは10分以内で、様々な角度で一貫した外観でスタイリングされた新しいビューを生成することができる。
論文 参考訳（メタデータ） (2023-03-29T17:53:20Z) - Vision Transformer for NeRF-Based View Synthesis from a Single Input
Image [49.956005709863355]
本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。
新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。
提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
論文 参考訳（メタデータ） (2022-07-12T17:52:04Z) - SNeRF: Stylized Neural Implicit Representations for 3D Scenes [9.151746397358522]
本稿では,一貫した新規ビュー合成に強い帰納バイアスを与える3次元シーンスタイリングについて検討する。
我々は3次元シーン表現の選択として、新しい神経放射場(NeRF)を採用する。
我々は、NeRFとスタイリゼーション最適化のステップを交互に行い、この問題に対処する新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-07-05T23:45:02Z) - Control-NeRF: Editable Feature Volumes for Scene Rendering and
Manipulation [58.16911861917018]
高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。
モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。
我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
論文 参考訳（メタデータ） (2022-04-22T17:57:00Z) - Unified Implicit Neural Stylization [80.59831861186227]
この研究は、スタイル化された暗黙の表現のトレーニングという、新しい興味深い方向性を探求する。
本研究では,2次元座標に基づく表現,ニューラルラディアンス場,符号付き距離関数など,様々な暗黙関数に関するパイロット研究を行う。
我々のソリューションは、INSと呼ばれる統一暗黙的ニューラルスティル化フレームワークです。
論文 参考訳（メタデータ） (2022-04-05T02:37:39Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳（メタデータ） (2021-05-27T23:58:18Z) - IBRNet: Learning Multi-View Image-Based Rendering [67.15887251196894]
本稿では,近接ビューの疎集合を補間することにより,複雑なシーンの新しいビューを合成する手法を提案する。
レンダリング時にソースビューを描画することで、画像ベースのレンダリングに関する古典的な作業に戻ります。
論文 参考訳（メタデータ） (2021-02-25T18:56:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。