論文の概要: 3D VR Sketch Guided 3D Shape Prototyping and Exploration
- arxiv url: http://arxiv.org/abs/2306.10830v1
- Date: Mon, 19 Jun 2023 10:27:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 18:19:05.385344
- Title: 3D VR Sketch Guided 3D Shape Prototyping and Exploration
- Title（参考訳）: 3dvrスケッチによる3d形状のプロトタイピングと探索
- Authors: Ling Luo, Pinaki Nath Chowdhury, Tao Xiang, Yi-Zhe Song, Yulia
Gryaditskaya
- Abstract要約: 2次元スケッチとテキスト入力は3次元形状生成ネットワークの条件モダリティとして考慮された。
3Dで直接描画されるバーチャルリアリティースケッチを探索する。
入力スケッチ構造に従う複数の3次元形状の生成問題に対処する。
- 参考スコア（独自算出の注目度）: 107.17334877532649
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D shape modeling is labor-intensive and time-consuming and requires years of
expertise. Recently, 2D sketches and text inputs were considered as conditional
modalities to 3D shape generation networks to facilitate 3D shape modeling.
However, text does not contain enough fine-grained information and is more
suitable to describe a category or appearance rather than geometry, while 2D
sketches are ambiguous, and depicting complex 3D shapes in 2D again requires
extensive practice. Instead, we explore virtual reality sketches that are drawn
directly in 3D. We assume that the sketches are created by novices, without any
art training, and aim to reconstruct physically-plausible 3D shapes. Since such
sketches are potentially ambiguous, we tackle the problem of the generation of
multiple 3D shapes that follow the input sketch structure. Limited in the size
of the training data, we carefully design our method, training the model
step-by-step and leveraging multi-modal 3D shape representation. To guarantee
the plausibility of generated 3D shapes we leverage the normalizing flow that
models the distribution of the latent space of 3D shapes. To encourage the
fidelity of the generated 3D models to an input sketch, we propose a dedicated
loss that we deploy at different stages of the training process. We plan to
make our code publicly available.
- Abstract（参考訳）: 3D形状モデリングは労働集約的で時間を要するため、長年の専門知識を必要とする。
近年,3次元形状モデリングを容易にするために,2次元スケッチやテキスト入力を3次元形状生成ネットワークの条件モダリティとして検討している。
しかし、テキストには十分な細かな情報がなく、幾何学よりもカテゴリや外観を記述するのに適しており、2dのスケッチは曖昧であり、複雑な3d形状を2dで描くにはさらなる実践が必要である。
代わりに、3dで直接描画される仮想現実のスケッチを探索する。
スケッチは初心者によって作成され、アートトレーニングなしで作成され、物理的に証明可能な3D形状の再構築を目指していると仮定する。
このようなスケッチは、潜在的に曖昧であるため、入力スケッチ構造に従う複数の3次元形状の生成の問題に取り組む。
トレーニングデータのサイズが限られているため,本手法を慎重に設計し,段階的にモデルを訓練し,マルチモーダル3次元形状表現を活用する。
生成した3次元形状の可算性を保証するために, 3次元形状の潜在空間分布をモデル化する正規化流れを利用する。
入力スケッチに対する生成した3Dモデルの忠実さを促進するために,トレーニングプロセスの異なる段階に展開する専用損失を提案する。
私たちはコードを一般公開する予定です。
関連論文リスト
- Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering [17.918603435615335]
3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。
Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。
我々のフレームワークは3Dスケッチとカスタマイズされた画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
論文 参考訳（メタデータ） (2024-05-24T07:48:14Z) - NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。
既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。
本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-27T04:09:34Z) - Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。
提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
論文 参考訳（メタデータ） (2023-12-07T05:04:33Z) - Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation [13.47191379827792]
そこで本研究では,スケッチから3次元形状を生成するために,事前学習モデルの大きさについて検討する。
トレーニング中の合成レンダリングの特徴を3次元生成モデルに条件付けすることで,推論時にスケッチから3次元形状を効果的に生成できることがわかった。
これは、事前訓練された大きな視覚モデルの特徴が、ドメインシフトに耐性を持つ意味的な信号を持っていることを示唆している。
論文 参考訳（メタデータ） (2023-07-08T00:45:01Z) - AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳（メタデータ） (2023-05-03T17:56:24Z) - HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。
本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-19T07:22:05Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z) - Neural Strokes: Stylized Line Drawing of 3D Shapes [36.88356061690497]
本稿では3次元形状からスタイリングされた線図を作成するモデルを提案する。
モデルは3次元形状と視点を入力として取り、テクスチャ化されたストロークで描画を出力する。
論文 参考訳（メタデータ） (2021-10-08T05:40:57Z) - 3D Shape Reconstruction from Free-Hand Sketches [42.15888734492648]
歪みのない線図からの3次元再構成では大きな進歩があったが、フリーハンドスケッチから3次元形状を再構築する努力はほとんど行われていない。
インタラクティブデザインやVR/ARゲームといった3D関連アプリケーションにおけるスケッチのパワー向上を目指す。
フリーハンドスケッチ3D再構成の大きな課題は、トレーニングデータ不足とフリーハンドスケッチの多様性にある。
論文 参考訳（メタデータ） (2020-06-17T07:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。