論文の概要: Deep3DSketch+: Rapid 3D Modeling from Single Free-hand Sketches

• arxiv url: http://arxiv.org/abs/2309.13006v1
• Date: Fri, 22 Sep 2023 17:12:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 13:38:51.456701
• Title: Deep3DSketch+: Rapid 3D Modeling from Single Free-hand Sketches
• Title（参考訳）: Deep3DSketch+: シングルフリーハンドスケッチによる高速3Dモデリング
• Authors: Tianrun Chen, Chenglong Fu, Ying Zang, Lanyun Zhu, Jia Zhang, Papa Mao, Lingyun Sun
• Abstract要約: 本稿では,1つのフリーハンドスケッチのみを用いて,複数のスケッチやビュー情報を入力せずに3次元モデリングを行う,新しいエンドツーエンドアプローチであるDeep3DSketch+を紹介する。 実験により, 合成データと実データの両方において, 最新技術(SOTA)の性能が有効であることを実証した。
• 参考スコア（独自算出の注目度）: 15.426513559370086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of AR/VR brings tremendous demands for 3D content. While the widely-used Computer-Aided Design (CAD) method requires a time-consuming and labor-intensive modeling process, sketch-based 3D modeling offers a potential solution as a natural form of computer-human interaction. However, the sparsity and ambiguity of sketches make it challenging to generate high-fidelity content reflecting creators' ideas. Precise drawing from multiple views or strategic step-by-step drawings is often required to tackle the challenge but is not friendly to novice users. In this work, we introduce a novel end-to-end approach, Deep3DSketch+, which performs 3D modeling using only a single free-hand sketch without inputting multiple sketches or view information. Specifically, we introduce a lightweight generation network for efficient inference in real-time and a structural-aware adversarial training approach with a Stroke Enhancement Module (SEM) to capture the structural information to facilitate learning of the realistic and fine-detailed shape structures for high-fidelity performance. Extensive experiments demonstrated the effectiveness of our approach with the state-of-the-art (SOTA) performance on both synthetic and real datasets.
• Abstract（参考訳）: AR/VRの急速な発展は、3Dコンテンツに対する大きな需要をもたらします。 広く使われているCAD(Computer-Aided Design)法は、時間と労力を要するモデリングプロセスを必要とするが、スケッチベースの3Dモデリングは、コンピュータと人間のインタラクションの自然な形態として潜在的ソリューションを提供する。 しかし、スケッチの控えめさとあいまいさは、クリエイターの考えを反映した忠実なコンテンツを作ることを困難にしている。 複数のビューや戦略的なステップバイステップの図面からの正確な図面は、課題に取り組むために必要となることが多いが、初心者ユーザーには親しみやすいものではない。 本研究では,1つのフリーハンドスケッチのみを用いて,複数のスケッチやビュー情報を入力せずに3Dモデリングを行う,新しいエンドツーエンドアプローチであるDeep3DSketch+を紹介する。 具体的には、リアルタイムの効率的な推論のための軽量な生成ネットワークと、ストローク拡張モジュール(SEM)を用いた構造認識対向訓練手法を導入し、構造情報をキャプチャして、高忠実度性能のための現実的で詳細な形状構造の学習を容易にする。 広範な実験により,合成データと実データの両方において,最先端(sota)性能を用いたアプローチの有効性が実証された。

関連論文リスト

• Magic3DSketch: Create Colorful 3D Models From Sketch-Based 3D Modeling Guided by Text and Language-Image Pre-Training [2.9600148687385786]
  CAD(Computer-Aided Design)のような従来の手法は、しばしば労働集約的でスキルの要求が多すぎるため、初心者には難しい。 提案手法であるMagic3DSketchは,スケッチを符号化して3Dメッシュを予測し,テキスト記述でガイドする手法である。 また,本手法は既存のテキスト・ツー・3D手法と比較して制御性が高い。
  論文  参考訳（メタデータ） (2024-07-27T09:59:13Z)
• CharNeRF: 3D Character Generation from Concept Art [3.8061090528695543]
  本稿では,一貫したターンアラウンドコンセプトアートから3次元文字の体積表現を作成する新しい手法を提案する。 学習可能なビュー指向のマルチヘッド自己アテンション層を通じて,これらの3Dポイントの事前情報を利用するようにネットワークをトレーニングする。 我々のモデルは、高品質な360度キャラクタビューを生成することができる。
  論文  参考訳（メタデータ） (2024-02-27T01:22:08Z)
• Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes [118.406721663244]
  本稿では,抽象モデリングとクロスモーダル対応を容易にする,新しい部分レベルモデリング・アライメントフレームワークを提案する。 提案手法は,CLIPassoエッジマップと投影された3次元部分領域との対応性を確立することで,スケッチモデリングにシームレスに拡張する。
  論文  参考訳（メタデータ） (2023-12-07T05:04:33Z)
• Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation [13.47191379827792]
  そこで本研究では,スケッチから3次元形状を生成するために,事前学習モデルの大きさについて検討する。 トレーニング中の合成レンダリングの特徴を3次元生成モデルに条件付けすることで,推論時にスケッチから3次元形状を効果的に生成できることがわかった。 これは、事前訓練された大きな視覚モデルの特徴が、ドメインシフトに耐性を持つ意味的な信号を持っていることを示唆している。
  論文  参考訳（メタデータ） (2023-07-08T00:45:01Z)
• SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling [69.28254439393298]
  SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。 我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。 メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
  論文  参考訳（メタデータ） (2023-07-03T07:41:07Z)
• SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
  SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。 SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。 SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
  論文  参考訳（メタデータ） (2023-06-09T17:50:53Z)
• Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation [51.64832538714455]
  既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
  論文  参考訳（メタデータ） (2023-02-14T06:28:42Z)
• Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
  本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。 当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
  論文  参考訳（メタデータ） (2020-08-24T21:51:29Z)
• Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data [77.34069717612493]
  本稿では,100fpsの単眼手形状とポーズ推定の新たな手法を提案する。 これは、利用可能なハンドトレーニングデータのソースをすべて活用できるように設計された、新しい学習ベースのアーキテクチャによって実現されている。 3次元手関節検出モジュールと逆キネマティクスモジュールを備えており、3次元手関節位置だけでなく、1つのフィードフォワードパスでそれらを関節回転にマッピングする。
  論文  参考訳（メタデータ） (2020-03-21T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。