論文の概要: Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation
- arxiv url: http://arxiv.org/abs/2404.01843v2
- Date: Sun, 7 Apr 2024 04:17:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 23:56:54.046707
- Title: Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation
- Title（参考訳）: Sketch3D:Sketch-to-3D生成のためのスタイル一貫性ガイダンス
- Authors: Wangguandong Zheng, Haifeng Xia, Rui Chen, Ming Shao, Siyu Xia, Zhengming Ding,
- Abstract要約: 本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。
3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
- 参考スコア（独自算出の注目度）: 55.73399465968594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, image-to-3D approaches have achieved significant results with a natural image as input. However, it is not always possible to access these enriched color input samples in practical applications, where only sketches are available. Existing sketch-to-3D researches suffer from limitations in broad applications due to the challenges of lacking color information and multi-view content. To overcome them, this paper proposes a novel generation paradigm Sketch3D to generate realistic 3D assets with shape aligned with the input sketch and color matching the textual description. Concretely, Sketch3D first instantiates the given sketch in the reference image through the shape-preserving generation process. Second, the reference image is leveraged to deduce a coarse 3D Gaussian prior, and multi-view style-consistent guidance images are generated based on the renderings of the 3D Gaussians. Finally, three strategies are designed to optimize 3D Gaussians, i.e., structural optimization via a distribution transfer mechanism, color optimization with a straightforward MSE loss and sketch similarity optimization with a CLIP-based geometric similarity loss. Extensive visual comparisons and quantitative analysis illustrate the advantage of our Sketch3D in generating realistic 3D assets while preserving consistency with the input.
- Abstract（参考訳）: 近年,画像から3Dへのアプローチは自然なイメージを入力として大きな成果を上げている。
しかし、これらのリッチなカラー入力サンプルを、スケッチのみが利用可能な実用的なアプリケーションでアクセスすることは必ずしも不可能である。
既存のスケッチ・ツー・3D研究は、カラー情報や多視点コンテンツが不足しているため、幅広い応用の限界に悩まされている。
そこで本研究では,入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新たな生成パラダイムであるSketch3Dを提案する。
具体的には、Sketch3Dは、まず、形状保存生成プロセスを通じて基準画像中の所定のスケッチをインスタンス化する。
次に、参照画像を利用して粗い3Dガウス先行を推定し、3Dガウスのレンダリングに基づいて多視点スタイルのガイダンス画像を生成する。
最後に、3つの戦略は、3Dガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何類似性損失によるスケッチ類似性最適化である。
大規模な視覚比較と定量的分析は、入力との整合性を維持しながらリアルな3Dアセットを生成する際のSketch3Dの利点を示しています。
関連論文リスト
- 3D Gaussian Editing with A Single Image [19.662680524312027]
本稿では,3次元ガウシアンスプラッティングをベースとしたワンイメージ駆動の3Dシーン編集手法を提案する。
提案手法は,ユーザが指定した視点から描画した画像の編集版に合わせるために,3次元ガウスを最適化することを学ぶ。
実験により, 幾何学的詳細処理, 長距離変形, 非剛性変形処理における本手法の有効性が示された。
論文 参考訳（メタデータ） (2024-08-14T13:17:42Z) - Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering [17.918603435615335]
3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。
Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。
我々のフレームワークは3Dスケッチとカスタマイズされた画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
論文 参考訳（メタデータ） (2024-05-24T07:48:14Z) - Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。
提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
論文 参考訳（メタデータ） (2024-03-18T04:01:26Z) - 3Doodle: Compact Abstraction of Objects with 3D Strokes [30.87733869892925]
我々は3Doooleを提案し、記述的かつビュー一貫性のあるスケッチ画像を生成する。
提案手法は,3次元ストロークの集合が効率的に3次元構造情報を表現できるという考えに基づいている。
結果として得られる3Dストロークのスパースセットは、様々な物体の本質的な3D特性形状を含む抽象スケッチとして表現することができる。
論文 参考訳（メタデータ） (2024-02-06T04:25:07Z) - Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。
提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
論文 参考訳（メタデータ） (2023-12-07T05:04:33Z) - Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D
Strokes [20.340259111585873]
ニューラル3Dストロークス(Neural 3D Strokes)は、多視点2D画像から任意の新しいビューで3Dシーンのスタイリング画像を生成する新しい技術である。
提案手法は,ベクトルストロークによる人間のアートワークのプログレッシブ・ペインティングの過程をシミュレートし,イメージ・ツー・ペインティング法からインスピレーションを得ている。
論文 参考訳（メタデータ） (2023-11-27T09:02:21Z) - Text-to-3D using Gaussian Splatting [18.163413810199234]
本稿では,最新の最先端表現であるガウススプラッティングをテキストから3D生成に適用する新しい手法であるGSGENを提案する。
GSGENは、高品質な3Dオブジェクトを生成し、ガウススティングの明示的な性質を活用することで既存の欠点に対処することを目的としている。
我々の手法は繊細な細部と正確な形状で3Dアセットを生成することができる。
論文 参考訳（メタデータ） (2023-09-28T16:44:31Z) - Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch
to Portrait Generation [51.64832538714455]
既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。
本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。
我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
論文 参考訳（メタデータ） (2023-02-14T06:28:42Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳（メタデータ） (2020-07-17T12:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。