論文の概要: 3D Photo Stylization: Learning to Generate Stylized Novel Views from a Single Image

• arxiv url: http://arxiv.org/abs/2112.00169v1
• Date: Tue, 30 Nov 2021 23:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-03 04:31:24.384928
• Title: 3D Photo Stylization: Learning to Generate Stylized Novel Views from a Single Image
• Title（参考訳）: 3dフォトスタイライゼーション:単一の画像からスタイライゼーションされたノベルビューを生成するための学習
• Authors: Fangzhou Mu, Jian Wang, Yicheng Wu, Yin Li
• Abstract要約: スタイル転送と2つの代表的なタスクとしてのシングルイメージの3D写真は、これまで独立して進化してきた。 シーンのポイントクラウド表現からテクスチャ化のための幾何学的コンテンツ特徴を学習する深層モデルを提案する。 本研究では,定性的・定量的研究を通じて,本手法の優位性を実証する。
• 参考スコア（独自算出の注目度）: 26.71747401875526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual content creation has spurred a soaring interest given its applications in mobile photography and AR / VR. Style transfer and single-image 3D photography as two representative tasks have so far evolved independently. In this paper, we make a connection between the two, and address the challenging task of 3D photo stylization - generating stylized novel views from a single image given an arbitrary style. Our key intuition is that style transfer and view synthesis have to be jointly modeled for this task. To this end, we propose a deep model that learns geometry-aware content features for stylization from a point cloud representation of the scene, resulting in high-quality stylized images that are consistent across views. Further, we introduce a novel training protocol to enable the learning using only 2D images. We demonstrate the superiority of our method via extensive qualitative and quantitative studies, and showcase key applications of our method in light of the growing demand for 3D content creation from 2D image assets.
• Abstract（参考訳）: モバイル写真やar/vrへの応用を考えると、ビジュアルコンテンツ作成への関心は高まっている。 スタイル転送と2つの代表的なタスクとしてのシングルイメージの3D写真は、これまで独立して進化してきた。 本稿では,この2つを接続し,任意のスタイルの1つの画像からスタイリングされた新しいビューを生成する3Dフォトスタイリングの課題に対処する。 私たちの重要な直感は、このタスクのためにスタイル転送とビュー合成を共同でモデル化する必要があるということです。 そこで本研究では,シーンのポイントクラウド表現からスタイライゼーションのための幾何認識コンテンツ特徴を学習し,ビュー間で一貫性のある高品質なスタイライゼーション画像を生成する深層モデルを提案する。 さらに,2次元画像のみを用いた学習を可能にする新しいトレーニングプロトコルを提案する。 本研究では,2次元画像アセットからの3次元コンテンツ生成の需要の増加を踏まえ,定性的・定量的研究を通じて,本手法の優位性を示す。

関連論文リスト

• Style-NeRF2NeRF: 3D Style Transfer From Style-Aligned Multi-View Images [54.56070204172398]
  本稿では,3次元シーンをスタイリングするための簡易かつ効果的なパイプラインを提案する。 我々は、スタイル整列画像-画像拡散モデルにより生成されたスタイリング画像を用いて、ソースNeRFモデルを精細化し、3Dスタイルの転送を行う。 本手法は,現実の3Dシーンに多彩な芸術的スタイルを,競争力のある品質で伝達できることを実証する。
  論文  参考訳（メタデータ） (2024-06-19T09:36:18Z)
• Make-Your-3D: Fast and Consistent Subject-Driven 3D Content Generation [12.693847842218604]
  5分以内に高忠実で一貫した3Dコンテンツをパーソナライズできる新しい3Dカスタマイズ手法「Make-Your-3D」を導入する。 我々の重要な洞察は、多視点拡散モデルとアイデンティティ特異的な2次元生成モデルの分布を調和させ、所望の3次元対象の分布と整合させることである。 提案手法は,高画質で一貫した,かつ主観的な3Dコンテンツを生成することができる。
  論文  参考訳（メタデータ） (2024-03-14T17:57:04Z)
• ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models [65.22994156658918]
  実世界のデータから1つの認知過程において多視点画像を生成することを学習する手法を提案する。 我々は、任意の視点でより多くの3D一貫性のある画像をレンダリングする自己回帰生成を設計する。
  論文  参考訳（メタデータ） (2024-03-04T07:57:05Z)
• Towards 4D Human Video Stylization [56.33756124829298]
  本稿では,4D(3Dおよび時間)の映像スタイリングに向けての第一歩として,スタイル変換,新しいビュー合成,人間アニメーションについて述べる。 我々はNeural Radiance Fields(NeRF)を利用してビデオを表現する。 我々のフレームワークは、斬新なポーズや視点に対応する能力を独自に拡張し、クリエイティブなヒューマンビデオスタイリングのための汎用的なツールとなる。
  論文  参考訳（メタデータ） (2023-12-07T08:58:33Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• Learning to Stylize Novel Views [82.24095446809946]
  任意の視点からシーンのスタイリング画像を生成する3Dシーンスタイリング問題に取り組む。 本稿では,一貫した3次元シーンスタイリングのためのポイントクラウドベースの手法を提案する。
  論文  参考訳（メタデータ） (2021-05-27T23:58:18Z)
• Stylizing 3D Scene via Implicit Representation and HyperNetwork [34.22448260525455]
  簡単な解決策は、既存の新しいビュー合成と画像/ビデオスタイルの転送アプローチを組み合わせることである。 ニューラルレイディアンスフィールド(NeRF)法の高品質な結果にインスパイアされ,新しいビューを所望のスタイルで直接描画するジョイントフレームワークを提案する。 本フレームワークは,ニューラルネットワークを用いた3次元シーンの暗黙的表現と,シーン表現にスタイル情報を転送するハイパーネットワークという2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2021-05-27T09:11:30Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)
• Neural Style Transfer for Remote Sensing [0.0]
  本研究の目的は,NSTアルゴリズムに基づく衛星画像から芸術地図を作成する方法を提案することである。 本手法は3つの基本的なステップを含む(例えば、元の衛星画像への意味的イメージセグメンテーションの適用、内容のクラス分割、各クラスに対するニューラルスタイル転送の適用、コラージュの作成)。
  論文  参考訳（メタデータ） (2020-07-31T09:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。