論文の概要: Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering
- arxiv url: http://arxiv.org/abs/2405.15305v1
- Date: Fri, 24 May 2024 07:48:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 15:40:48.358558
- Title: Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering
- Title（参考訳）: Diff3DS: 可変カーブレンダリングによるビュー一貫性3Dスケッチの生成
- Authors: Yibo Zhang, Lihong Wang, Changqing Zou, Tieru Wu, Rui Ma,
- Abstract要約: 3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。
Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。
我々のフレームワークは3Dスケッチとカスタマイズされた画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
- 参考スコア（独自算出の注目度）: 17.918603435615335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D sketches are widely used for visually representing the 3D shape and structure of objects or scenes. However, the creation of 3D sketch often requires users to possess professional artistic skills. Existing research efforts primarily focus on enhancing the ability of interactive sketch generation in 3D virtual systems. In this work, we propose Diff3DS, a novel differentiable rendering framework for generating view-consistent 3D sketch by optimizing 3D parametric curves under various supervisions. Specifically, we perform perspective projection to render the 3D rational B\'ezier curves into 2D curves, which are subsequently converted to a 2D raster image via our customized differentiable rasterizer. Our framework bridges the domains of 3D sketch and raster image, achieving end-toend optimization of 3D sketch through gradients computed in the 2D image domain. Our Diff3DS can enable a series of novel 3D sketch generation tasks, including textto-3D sketch and image-to-3D sketch, supported by the popular distillation-based supervision, such as Score Distillation Sampling (SDS). Extensive experiments have yielded promising results and demonstrated the potential of our framework.
- Abstract（参考訳）: 3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。
しかし、3Dスケッチの作成は、しばしばユーザーがプロの芸術的スキルを持つ必要がある。
既存の研究は、主に3D仮想システムにおけるインタラクティブなスケッチ生成能力の向上に重点を置いている。
本研究では,様々な監督下での3次元パラメトリック曲線の最適化により,ビュー一貫性を持つ3Dスケッチを生成するための,新たな差別化可能なレンダリングフレームワークDiff3DSを提案する。
具体的には、3次元有理B\'ezier曲線を2次元曲線に変換するために視点投影を行い、その後、カスタマイズ可能なラスタライザを用いて2次元ラスタ画像に変換する。
このフレームワークは3次元スケッチとラスタ画像の領域を橋渡しし、2次元画像領域で計算された勾配による3次元スケッチのエンドツーエンド最適化を実現する。
我々のDiff3DSは、テキスト3Dスケッチや画像3Dスケッチなどの新しい3Dスケッチ生成タスクを、Score Distillation Sampling (SDS)のような蒸留ベースの一般的な監督によってサポートすることができる。
大規模な実験によって有望な結果が得られ、我々のフレームワークの可能性を実証した。
関連論文リスト
- Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。
3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
論文 参考訳（メタデータ） (2024-04-02T11:03:24Z) - 3Doodle: Compact Abstraction of Objects with 3D Strokes [30.87733869892925]
我々は3Doooleを提案し、記述的かつビュー一貫性のあるスケッチ画像を生成する。
提案手法は,3次元ストロークの集合が効率的に3次元構造情報を表現できるという考えに基づいている。
結果として得られる3Dストロークのスパースセットは、様々な物体の本質的な3D特性形状を含む抽象スケッチとして表現することができる。
論文 参考訳（メタデータ） (2024-02-06T04:25:07Z) - Neural 3D Strokes: Creating Stylized 3D Scenes with Vectorized 3D
Strokes [20.340259111585873]
ニューラル3Dストロークス(Neural 3D Strokes)は、多視点2D画像から任意の新しいビューで3Dシーンのスタイリング画像を生成する新しい技術である。
提案手法は,ベクトルストロークによる人間のアートワークのプログレッシブ・ペインティングの過程をシミュレートし,イメージ・ツー・ペインティング法からインスピレーションを得ている。
論文 参考訳（メタデータ） (2023-11-27T09:02:21Z) - Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。
2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。
合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
論文 参考訳（メタデータ） (2023-11-09T15:50:32Z) - HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。
本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-19T07:22:05Z) - Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch
to Portrait Generation [51.64832538714455]
既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。
本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。
我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
論文 参考訳（メタデータ） (2023-02-14T06:28:42Z) - XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。
生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。
近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
論文 参考訳（メタデータ） (2022-10-06T15:54:01Z) - 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。
まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。
次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。
第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
論文 参考訳（メタデータ） (2021-04-06T02:22:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。