論文の概要: 3D Shape Reconstruction from Free-Hand Sketches
- arxiv url: http://arxiv.org/abs/2006.09694v2
- Date: Wed, 19 Jan 2022 03:35:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 21:03:32.527255
- Title: 3D Shape Reconstruction from Free-Hand Sketches
- Title（参考訳）: フリーハンドスケッチによる3次元形状復元
- Authors: Jiayun Wang, Jierui Lin, Qian Yu, Runtao Liu, Yubei Chen, Stella X. Yu
- Abstract要約: 歪みのない線図からの3次元再構成では大きな進歩があったが、フリーハンドスケッチから3次元形状を再構築する努力はほとんど行われていない。
インタラクティブデザインやVR/ARゲームといった3D関連アプリケーションにおけるスケッチのパワー向上を目指す。
フリーハンドスケッチ3D再構成の大きな課題は、トレーニングデータ不足とフリーハンドスケッチの多様性にある。
- 参考スコア（独自算出の注目度）: 42.15888734492648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sketches are the most abstract 2D representations of real-world objects.
Although a sketch usually has geometrical distortion and lacks visual cues,
humans can effortlessly envision a 3D object from it. This suggests that
sketches encode the information necessary for reconstructing 3D shapes. Despite
great progress achieved in 3D reconstruction from distortion-free line
drawings, such as CAD and edge maps, little effort has been made to reconstruct
3D shapes from free-hand sketches. We study this task and aim to enhance the
power of sketches in 3D-related applications such as interactive design and
VR/AR games.
Unlike previous works, which mostly study distortion-free line drawings, our
3D shape reconstruction is based on free-hand sketches. A major challenge for
free-hand sketch 3D reconstruction comes from the insufficient training data
and free-hand sketch diversity, e.g. individualized sketching styles. We thus
propose data generation and standardization mechanisms. Instead of
distortion-free line drawings, synthesized sketches are adopted as input
training data. Additionally, we propose a sketch standardization module to
handle different sketch distortions and styles. Extensive experiments
demonstrate the effectiveness of our model and its strong generalizability to
various free-hand sketches. Our code is publicly available at
https://github.com/samaonline/3D-Shape-Reconstruction-from-Free-Hand-Sketches.
- Abstract（参考訳）: スケッチは現実世界のオブジェクトの最も抽象的な2D表現である。
スケッチは通常幾何学的歪みがあり、視覚的な手がかりが欠けているが、人間は3dオブジェクトを無力に想像することができる。
これは,スケッチが3次元形状の再構築に必要な情報を符号化することを示唆している。
CADやエッジマップのような歪みのない線図からの3次元再構成では大きな進歩があったが、フリーハンドスケッチから3次元形状を再構築する試みはほとんど行われていない。
本課題は,インタラクティブデザインやVR/ARゲームといった3Dアプリケーションにおけるスケッチのパワー向上を目的としている。
歪みのない線図を主に研究している従来の作品とは異なり、我々の3D形状復元はフリーハンドスケッチに基づいている。
フリーハンドスケッチ3d再構成の大きな課題は、トレーニングデータ不足とフリーハンドスケッチの多様性、例えば個別化されたスケッチスタイルからのものである。
そこで我々は,データ生成と標準化機構を提案する。
歪みのない線画の代わりに、合成スケッチを入力訓練データとして採用する。
さらに,異なるスケッチ歪みやスタイルを扱うためのスケッチ標準化モジュールを提案する。
広範囲な実験により、我々のモデルの有効性と様々なフリーハンドスケッチに対する強力な一般化性を示す。
私たちのコードはhttps://github.com/samaonline/3D-Shape-Reconstruction-from-Free-Hand-Sketchesで公開されています。
関連論文リスト
- Diff3DS: Generating View-Consistent 3D Sketch via Differentiable Curve Rendering [17.918603435615335]
3Dスケッチは、オブジェクトやシーンの3D形状と構造を視覚的に表現するために広く使用されている。
Diff3DSは、ビュー一貫性のある3Dスケッチを生成するための、新しい差別化可能なフレームワークである。
我々のフレームワークは3Dスケッチとカスタマイズされた画像のドメインをブリッジし、3Dスケッチのエンドツーエンド最適化を実現する。
論文 参考訳（メタデータ） (2024-05-24T07:48:14Z) - Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。
3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
論文 参考訳（メタデータ） (2024-04-02T11:03:24Z) - SketchBodyNet: A Sketch-Driven Multi-faceted Decoder Network for 3D
Human Reconstruction [18.443079472919635]
そこで本研究では,SketchBodyNetと呼ばれるスケッチ駆動型マルチ顔デコーダネットワークを提案する。
我々のネットワークは,フリーハンドスケッチから3次元メッシュを再構築する際の優れた性能を実現している。
論文 参考訳（メタデータ） (2023-10-10T12:38:34Z) - 3D VR Sketch Guided 3D Shape Prototyping and Exploration [108.6809158245037]
本稿では,3次元VRスケッチを条件として行う3次元形状生成ネットワークを提案する。
スケッチは初心者がアートトレーニングなしで作成していると仮定する。
本手法は,オリジナルスケッチの構造に整合した複数の3次元形状を生成する。
論文 参考訳（メタデータ） (2023-06-19T10:27:24Z) - Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch
to Portrait Generation [51.64832538714455]
既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。
本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。
我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
論文 参考訳（メタデータ） (2023-02-14T06:28:42Z) - Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。
グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2022-07-24T19:22:57Z) - SingleSketch2Mesh : Generating 3D Mesh model from Sketch [1.6973426830397942]
スケッチから3Dモデルを生成する現在の方法は、手動またはタイトに3Dモデリングプラットフォームと結合されている。
我々は手描きスケッチから3Dモデルを生成するための新しいAIベースのアンサンブルアプローチであるSingleSketch2Meshを提案する。
論文 参考訳（メタデータ） (2022-03-07T06:30:36Z) - Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches [65.96417928860039]
スケッチのメッシュ変換にはエンコーダ/デコーダアーキテクチャを使用する。
このアプローチはデプロイが容易で、スタイル変更に堅牢であり、効果的であることを示します。
論文 参考訳（メタデータ） (2021-04-01T14:10:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。