論文の概要: Precise-Physics Driven Text-to-3D Generation

• arxiv url: http://arxiv.org/abs/2403.12438v1
• Date: Tue, 19 Mar 2024 04:51:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 15:22:07.542823
• Title: Precise-Physics Driven Text-to-3D Generation
• Title（参考訳）: 精密物理駆動型テキスト・ツー・3D生成
• Authors: Qingshan Xu, Jiao Liu, Melvin Wong, Caishun Chen, Yew-Soon Ong,
• Abstract要約: 高精度な物理駆動型テキスト・ツー・3D生成法であるPhy3DGenを提案する。 生成した3次元形状のソリッド・メカニクスを解析することにより,既存のテキスト・ツー・3次元生成手法が生み出す3次元形状が実世界の応用には実用的でないことを明らかにする。
• 参考スコア（独自算出の注目度）: 24.180947937863355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-3D generation has shown great promise in generating novel 3D content based on given text prompts. However, existing generative methods mostly focus on geometric or visual plausibility while ignoring precise physics perception for the generated 3D shapes. This greatly hinders the practicality of generated 3D shapes in real-world applications. In this work, we propose Phy3DGen, a precise-physics-driven text-to-3D generation method. By analyzing the solid mechanics of generated 3D shapes, we reveal that the 3D shapes generated by existing text-to-3D generation methods are impractical for real-world applications as the generated 3D shapes do not conform to the laws of physics. To this end, we leverage 3D diffusion models to provide 3D shape priors and design a data-driven differentiable physics layer to optimize 3D shape priors with solid mechanics. This allows us to optimize geometry efficiently and learn precise physics information about 3D shapes at the same time. Experimental results demonstrate that our method can consider both geometric plausibility and precise physics perception, further bridging 3D virtual modeling and precise physical worlds.
• Abstract（参考訳）: テキスト・ツー・3D生成は、与えられたテキスト・プロンプトに基づいて、新しい3Dコンテンツを生成するという大きな可能性を示している。 しかし、既存の生成法は主に幾何学的あるいは視覚的可視性に焦点を当て、生成した3次元形状の正確な物理知覚を無視している。 これにより、現実世界の応用において生成された3D形状の実用性が著しく阻害される。 本研究では,Phy3DGenを提案する。 生成した3次元形状のソリッド・メカニクスを解析することにより,既存のテキスト・ツー・3次元生成法で生成された3次元形状が物理法則に従わないため,実世界の応用には実用的でないことを明らかにした。 この目的のために、3次元拡散モデルを用いて3次元形状の先行情報を提供し、データ駆動型微分可能な物理層を設計し、固体力学を用いて3次元形状の先行情報を最適化する。 これにより、幾何学を効率的に最適化し、3次元形状に関する正確な物理情報を同時に学習することができる。 実験により, 幾何学的妥当性と正確な物理知覚を両立させることができ, さらに3次元仮想モデリングと正確な物理世界を考えることができることがわかった。

関連論文リスト

• Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation [27.43973967994717]
  MT3Dは高忠実度3Dオブジェクトを利用して視点バイアスを克服するテキスト・ツー・3D生成モデルである。 生成した2次元画像が基本形状と構造を保持することを保証するために,高品質な3次元モデルから導出される深度マップを制御信号として利用する。 3Dアセットから幾何学的詳細を取り入れることで、MT3Dは多様で幾何学的に一貫したオブジェクトを作成することができる。
  論文  参考訳（メタデータ） (2024-08-12T06:25:44Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis [49.352765055181436]
  動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。 提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
  論文  参考訳（メタデータ） (2024-04-09T12:47:30Z)
• Sherpa3D: Boosting High-Fidelity Text-to-3D Generation via Coarse 3D Prior [52.44678180286886]
  2次元拡散モデルでは、3次元データなしで優れた一般化と豊富な詳細を実現する蒸留手法が見つかる。 提案するSherpa3Dは,高忠実度,一般化性,幾何整合性を同時に実現する新しいテキスト・ツー・3Dフレームワークである。
  論文  参考訳（メタデータ） (2023-12-11T18:59:18Z)
• TPA3D: Triplane Attention for Fast Text-to-3D Generation [28.33270078863519]
  テキスト誘導型3次元生成(TPA3D)のためのトライプレーンアテンションを提案する。 TPA3Dは、高速テキストから3D生成のための、エンドツーエンドのトレーニング可能なGANベースのディープラーニングモデルである。 TPA3Dは, きめ細かい記述と整合した高品質な3次元テクスチャ形状を生成する。
  論文  参考訳（メタデータ） (2023-12-05T10:39:37Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• 3D VR Sketch Guided 3D Shape Prototyping and Exploration [108.6809158245037]
  本稿では,3次元VRスケッチを条件として行う3次元形状生成ネットワークを提案する。 スケッチは初心者がアートトレーニングなしで作成していると仮定する。 本手法は,オリジナルスケッチの構造に整合した複数の3次元形状を生成する。
  論文  参考訳（メタデータ） (2023-06-19T10:27:24Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• Learning geometry-image representation for 3D point cloud generation [5.3485743892868545]
  本稿では、3次元点雲生成問題を2次元幾何画像生成問題に変換するための新しい幾何画像ベースジェネレータ(GIG)を提案する。 剛性および非剛性な3次元オブジェクトデータセットの実験により,本手法の有望な性能を実証した。
  論文  参考訳（メタデータ） (2020-11-29T05:21:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。