論文の概要: PaintNeSF: Artistic Creation of Stylized Scenes with Vectorized 3D Strokes

• arxiv url: http://arxiv.org/abs/2311.15637v1
• Date: Mon, 27 Nov 2023 09:02:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 16:25:57.655703
• Title: PaintNeSF: Artistic Creation of Stylized Scenes with Vectorized 3D Strokes
• Title（参考訳）: paintnesf: 3dストロークをベクトル化したスタイリッシュなシーンの芸術的創造
• Authors: Hao-Bin Duan, Miao Wang, Yan-Xun Li and Yong-Liang Yang
• Abstract要約: Paint Neural Stroke Field (PaintNeSF)は、多視点2D画像から任意の新しいビューで3Dシーンのスタイリング画像を生成する新しい技術である。 我々のアプローチは、そのアプリケーションを拡張するために、スタイル損失や画像テキストのコントラストモデルとさらに統合することができる。
• 参考スコア（独自算出の注目度）: 20.340259111585873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Paint Neural Stroke Field (PaintNeSF), a novel technique to generate stylized images of a 3D scene at arbitrary novel views from multi-view 2D images. Different from existing methods which apply stylization to trained neural radiance fields at the voxel level, our approach draws inspiration from image-to-painting methods, simulating the progressive painting process of human artwork with vector strokes. We develop a palette of stylized 3D strokes from basic primitives and splines, and consider the 3D scene stylization task as a multi-view reconstruction process based on these 3D stroke primitives. Instead of directly searching for the parameters of these 3D strokes, which would be too costly, we introduce a differentiable renderer that allows optimizing stroke parameters using gradient descent, and propose a training scheme to alleviate the vanishing gradient issue. The extensive evaluation demonstrates that our approach effectively synthesizes 3D scenes with significant geometric and aesthetic stylization while maintaining a consistent appearance across different views. Our method can be further integrated with style loss and image-text contrastive models to extend its applications, including color transfer and text-driven 3D scene drawing.
• Abstract（参考訳）: 本稿では,多視点2次元画像から任意の視点で3次元シーンのスタイライゼーション画像を生成する新しい手法であるpaintnesfについて述べる。 ボクセルレベルのトレーニングされたニューラルラディアンスフィールドにスタイリングを適用する既存の手法とは異なり,本手法は画像から絵画へのアプローチからインスピレーションを得て,ベクターストロークによる人間のアートワークのプログレッシブペイント過程をシミュレートする。 基本的なプリミティブとスプラインからの3次元ストロークのパレットを開発し,これら3次元ストロークプリミティブに基づく多視点復元プロセスとして3次元シーンスタイライゼーションタスクを考察する。 これらの3Dストロークのパラメータを直接検索する代わりに、勾配勾配勾配を用いてストロークパラメータを最適化できる微分可能なレンダラーを導入し、消滅する勾配問題を緩和するためのトレーニングスキームを提案する。 本手法は,異なる視点で一貫した外観を維持しつつ,重要な幾何学的,美的スタイライゼーションを伴う3dシーンを効果的に合成することを示す。 本手法は,カラートランスファーやテキスト駆動の3Dシーン描画など,スタイル損失や画像テキストのコントラストモデルとさらに統合してアプリケーションを拡張することができる。

関連論文リスト

• Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering [17.918603435615335]
  3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。 Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。 我々のフレームワークは3Dスケッチとカスタマイズされた画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
  論文  参考訳（メタデータ） (2024-05-24T07:48:14Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
  本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。 2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。 合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
  論文  参考訳（メタデータ） (2023-11-09T15:50:32Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• StyleMesh: Style Transfer for Indoor 3D Scene Reconstructions [11.153966202832933]
  屋内シーンのメッシュ再構成にスタイル転送を適用する。 これにより、お気に入りのアーティストのスタイルで描かれた3D環境を体験するといったVRアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:59Z)
• 3DStyleNet: Creating 3D Shapes with Geometric and Texture Style Variations [81.45521258652734]
  本稿では,3次元オブジェクトの幾何学的・テクスチャ的バリエーションを多用する手法を提案する。 提案手法は,多くの新しいスタイルの形状を作成でき,その結果,無駄な3Dコンテンツ作成とスタイルウェアデータ拡張を実現している。
  論文  参考訳（メタデータ） (2021-08-30T02:28:31Z)
• Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
  本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。 訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
  論文  参考訳（メタデータ） (2021-08-23T09:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。