論文の概要: VRsketch2Gaussian: 3D VR Sketch Guided 3D Object Generation with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2503.12383v1
• Date: Sun, 16 Mar 2025 07:03:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:31:10.205418
• Title: VRsketch2Gaussian: 3D VR Sketch Guided 3D Object Generation with Gaussian Splatting
• Title（参考訳）: VRsketch2Gaussian:3D VR Sketch Guided 3D Object Generation with Gaussian Splatting
• Authors: Songen Gu, Haoxuan Song, Binjie Liu, Qian Yu, Sanyi Zhang, Haiyong Jiang, Jin Huang, Feng Tian,
• Abstract要約: 我々はVRスケッチ誘導型マルチモーダルネイティブ3Dオブジェクト生成フレームワークであるVRSketch2Gaussianを提案する。 VRSSはVRスケッチ、テキスト、画像、および3DGSを含む最初の大規模ペアデータセットである。
• 参考スコア（独自算出の注目度）: 17.92139776515526
• License:
• Abstract: We propose VRSketch2Gaussian, a first VR sketch-guided, multi-modal, native 3D object generation framework that incorporates a 3D Gaussian Splatting representation. As part of our work, we introduce VRSS, the first large-scale paired dataset containing VR sketches, text, images, and 3DGS, bridging the gap in multi-modal VR sketch-based generation. Our approach features the following key innovations: 1) Sketch-CLIP feature alignment. We propose a two-stage alignment strategy that bridges the domain gap between sparse VR sketch embeddings and rich CLIP embeddings, facilitating both VR sketch-based retrieval and generation tasks. 2) Fine-Grained multi-modal conditioning. We disentangle the 3D generation process by using explicit VR sketches for geometric conditioning and text descriptions for appearance control. To facilitate this, we propose a generalizable VR sketch encoder that effectively aligns different modalities. 3) Efficient and high-fidelity 3D native generation. Our method leverages a 3D-native generation approach that enables fast and texture-rich 3D object synthesis. Experiments conducted on our VRSS dataset demonstrate that our method achieves high-quality, multi-modal VR sketch-based 3D generation. We believe our VRSS dataset and VRsketch2Gaussian method will be beneficial for the 3D generation community.
• Abstract（参考訳）: 提案するVRSketch2Gaussianは,Gaussian Splatting表現を組み込んだ,VRスケッチ誘導,マルチモーダル,ネイティブな3Dオブジェクト生成フレームワークである。 我々の研究の一環として、VRスケッチ、テキスト、画像、および3DGSを含む最初の大規模ペアデータセットであるVRSSを導入し、マルチモーダルVRスケッチベースの生成におけるギャップを埋める。 私たちのアプローチでは、以下の重要なイノベーションが特徴です。 1)Sketch-CLIP機能アライメント。 本稿では,VRスケッチとリッチCLIP埋め込みの領域ギャップを埋める2段階アライメント戦略を提案し,VRスケッチに基づく検索と生成作業を容易にする。 2)細粒多モードコンディショニング 我々は、幾何学的条件付けのためのVRスケッチと外観制御のためのテキスト記述を用いて、3D生成プロセスを切り離す。 これを容易にするために,様々なモダリティを効果的に整合させる一般化可能なVRスケッチエンコーダを提案する。 3) 効率的で高忠実な3Dネイティブ・ジェネレーション。 提案手法は,高速でテクスチャに富んだ3Dオブジェクト合成を可能にする3Dネイティブ生成手法を利用する。 VRSSデータセットを用いた実験により,本手法は高品質でマルチモーダルなVRスケッチベースの3D生成を実現することを示す。 VRSSデータセットとVRsketch2Gaussianメソッドは、3D世代コミュニティにとって有益であると考えています。

関連論文リスト

• GSemSplat: Generalizable Semantic 3D Gaussian Splatting from Uncalibrated Image Pairs [33.74118487769923]
  GSemSplatは,3次元ガウスに関連付けられた意味表現を,シーンごとの最適化や高密度画像収集,キャリブレーションなしに学習するフレームワークである。 本研究では,2次元空間における領域固有の意味的特徴と文脈認識的意味的特徴を両立させる二重機能アプローチを用いる。
  論文  参考訳（メタデータ） (2024-12-22T09:06:58Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Investigating Input Modality and Task Geometry on Precision-first 3D Drawing in Virtual Reality [16.795850221628033]
  課題幾何学的形状と入力モードが精度第一の描画性能に与える影響について検討した。 素手で使う場合と比較して、VRコントローラーやペンは精度の30%近く向上することがわかった。
  論文  参考訳（メタデータ） (2022-10-21T21:56:43Z)
• Towards 3D VR-Sketch to 3D Shape Retrieval [128.47604316459905]
  入力モダリティとしての3Dスケッチの利用について検討し、検索を行うVRシナリオを提唱する。 この新しい3DVR-Sketchから3D形状の検索問題に対する最初のスタンプとして、私たちは4つのコントリビューションを行います。
  論文  参考訳（メタデータ） (2022-09-20T22:04:31Z)
• Fine-Grained VR Sketching: Dataset and Insights [140.0579567561475]
  1,497個のVRスケッチと大きな形状の椅子カテゴリーの3次元形状ペアの最初の詳細なデータセットを提示する。 我々のデータセットは、きめ細かいデータ分析に関するスケッチコミュニティの最近のトレンドをサポートする。
  論文  参考訳（メタデータ） (2022-09-20T21:30:54Z)
• Structure-Aware 3D VR Sketch to 3D Shape Retrieval [113.20120789493217]
  われわれは3DVRのスケッチに固有の不正確さによって引き起こされる課題に注目している。 我々は「適合ギャップ」によって引き起こされる適応利得値を持つ三重項損失を用いることを提案する。 観察からではなく、記憶から描かれた202個の3次元形状のための202個のVRスケッチのデータセットを紹介した。
  論文  参考訳（メタデータ） (2022-09-19T14:29:26Z)
• Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
  本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。 当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
  論文  参考訳（メタデータ） (2020-08-24T21:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。