論文の概要: Locally Stylized Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2309.10684v1
- Date: Tue, 19 Sep 2023 15:08:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 13:51:54.368076
- Title: Locally Stylized Neural Radiance Fields
- Title（参考訳）: 局所スティル化ニューラル放射場
- Authors: Hong-Wing Pang, Binh-Son Hua, Sai-Kit Yeung
- Abstract要約: 局所的なスタイル伝達に基づくニューラルレイディアンスフィールド(NeRF)のスタイリングフレームワークを提案する。
特に、ハッシュグリッド符号化を用いて外観や幾何学的要素の埋め込みを学習する。
提案手法は, 新規なビュー合成により, 可視なスタイリゼーション結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 30.037649804991315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, there has been increasing interest in applying stylization
on 3D scenes from a reference style image, in particular onto neural radiance
fields (NeRF). While performing stylization directly on NeRF guarantees
appearance consistency over arbitrary novel views, it is a challenging problem
to guide the transfer of patterns from the style image onto different parts of
the NeRF scene. In this work, we propose a stylization framework for NeRF based
on local style transfer. In particular, we use a hash-grid encoding to learn
the embedding of the appearance and geometry components, and show that the
mapping defined by the hash table allows us to control the stylization to a
certain extent. Stylization is then achieved by optimizing the appearance
branch while keeping the geometry branch fixed. To support local style
transfer, we propose a new loss function that utilizes a segmentation network
and bipartite matching to establish region correspondences between the style
image and the content images obtained from volume rendering. Our experiments
show that our method yields plausible stylization results with novel view
synthesis while having flexible controllability via manipulating and
customizing the region correspondences.
- Abstract（参考訳）: 近年,参照スタイルの画像から,特にニューラル放射場(NeRF)への3Dシーンのスタイラス化への関心が高まっている。
NeRF上で直接スタイリングを行う場合、任意の新規ビューに対して外観整合性が保証されるが、スタイルイメージからNeRFシーンの異なる部分へのパターンの転送を誘導することは難しい問題である。
本研究では,局所的なスタイル転送に基づくNeRFのスタイリングフレームワークを提案する。
特に、ハッシュグリッド符号化を用いて外観や幾何学成分の埋め込みを学習し、ハッシュテーブルで定義されたマッピングによってある程度のスタイリングを制御できることを示す。
次に、幾何分岐を固定しながら外観分岐を最適化することでスタイリゼーションを実現する。
局所的なスタイル転送を支援するために,分割ネットワークと二部マッチングを利用して,ボリュームレンダリングから得られるコンテンツ画像とスタイル画像の領域対応性を確立する新たな損失関数を提案する。
提案手法は,領域対応を操作・カスタマイズすることで柔軟な制御性を有しつつ,新しい視点合成による可算なスタイライゼーション結果が得られることを示す。
関連論文リスト
- Instant Photorealistic Neural Radiance Fields Stylization [1.039189397779466]
Instant Neural Radiance Fields Stylizationは3Dシーンのマルチビュー画像スタイリングのための新しいアプローチである。
我々のアプローチは、位置埋め込みにハッシュテーブルベースの位置エンコーダを使用するニューラルネットワークプリミティブに基づく神経放射場をモデル化する。
最新のGPUハードウェアでは10分以内で、様々な角度で一貫した外観でスタイリングされた新しいビューを生成することができる。
論文 参考訳（メタデータ） (2023-03-29T17:53:20Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-03-09T04:35:00Z) - StyleTRF: Stylizing Tensorial Radiance Fields [7.9020917073764405]
近年,カメラで撮影するシーンのスチル化ビュー生成に注目が集まっている。
本稿では,TensoRFを用いたスタイル化ビュー生成のための,コンパクトで迅速な最適化戦略であるStyleTRFを提案する。
論文 参考訳（メタデータ） (2022-12-19T09:50:05Z) - NeRF-Art: Text-Driven Neural Radiance Fields Stylization [38.3724634394761]
簡単なテキストプロンプトで事前学習したNeRFモデルのスタイルを操作するテキスト誘導型NeRFスタイリング手法であるNeRF-Artを提案する。
本手法は, シングルビューのスタイリゼーション品質とクロスビューの整合性の両方に関して, 有効かつ堅牢であることを示す。
論文 参考訳（メタデータ） (2022-12-15T18:59:58Z) - Learning Graph Neural Networks for Image Style Transfer [131.73237185888215]
最先端のパラメトリックおよび非パラメトリックなスタイル転送アプローチは、グローバルな統計アライメントによる局所的なスタイルパターンの歪んだり、パッチミスマッチによるアーティファクトを減らしたりする傾向にある。
本稿では,パラメトリック型と非パラメトリック型の両方のスタイライゼーションの欠如を緩和する,新しい半パラメトリック型ニューラルスタイルトランスファーフレームワークについて検討する。
論文 参考訳（メタデータ） (2022-07-24T07:41:31Z) - ARF: Artistic Radiance Fields [63.79314417413371]
本稿では,任意のスタイル画像の芸術的特徴を3Dシーンに転送する方法を提案する。
点雲やメッシュ上で3次元スタイリングを行う従来の手法は、幾何的再構成誤差に敏感である。
より頑健なラディアンス場表現の体系化を提案する。
論文 参考訳（メタデータ） (2022-06-13T17:55:31Z) - StylizedNeRF: Consistent 3D Scene Stylization as Stylized NeRF via 2D-3D
Mutual Learning [50.65015652968839]
3Dシーンのスタイリングは、任意の新しい視点からシーンのスタイリング画像を生成することを目的としている。
最近提案されたNeRF(Near Raddiance Field)により,我々は一貫した方法で3Dシーンを表現できる。
本研究では,2次元画像スタイリゼーションネットワークとNeRFを組み合わせた3次元シーンスタイリゼーションのための新しい相互学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-24T16:29:50Z) - Learning to Stylize Novel Views [82.24095446809946]
任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。
本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
論文 参考訳（メタデータ） (2021-05-27T23:58:18Z) - Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。
ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。
本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2021-05-27T09:11:30Z) - Drafting and Revision: Laplacian Pyramid Network for Fast High-Quality
Artistic Style Transfer [115.13853805292679]
アートスタイルの転送は、サンプルイメージからコンテンツイメージへのスタイルの移行を目的としている。
図案作成と細部改訂の共通画法に触発されて,ラプラシアンピラミッドネットワーク(LapStyle)という新しいフィードフォワード方式を導入する。
本手法は, 定型的パターンを適切に伝達した高品質なスタイリズド画像をリアルタイムで合成する。
論文 参考訳（メタデータ） (2021-04-12T11:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。