論文の概要: EXIM: A Hybrid Explicit-Implicit Representation for Text-Guided 3D Shape Generation

• arxiv url: http://arxiv.org/abs/2311.01714v2
• Date: Thu, 30 Nov 2023 15:02:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 19:45:42.178012
• Title: EXIM: A Hybrid Explicit-Implicit Representation for Text-Guided 3D Shape Generation
• Title（参考訳）: EXIM:テキストガイドによる3次元形状生成のためのハイブリッド明示型表現
• Authors: Zhengzhe Liu, Jingyu Hu, Ka-Hei Hui, Xiaojuan Qi, Daniel Cohen-Or, Chi-Wing Fu
• Abstract要約: 本稿では,3次元形状を生成するための新しいテキスト誘導手法を提案する。 我々は,明示的表現と暗黙的表現の強みを組み合わせたハイブリッド3D表現,すなわちEXIMを活用する。 テキスト誘導型3次元形状を用いた室内シーンを一貫したスタイルで生成する手法の適用性を示した。
• 参考スコア（独自算出の注目度）: 124.27302003578903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a new text-guided technique for generating 3D shapes. The technique leverages a hybrid 3D shape representation, namely EXIM, combining the strengths of explicit and implicit representations. Specifically, the explicit stage controls the topology of the generated 3D shapes and enables local modifications, whereas the implicit stage refines the shape and paints it with plausible colors. Also, the hybrid approach separates the shape and color and generates color conditioned on shape to ensure shape-color consistency. Unlike the existing state-of-the-art methods, we achieve high-fidelity shape generation from natural-language descriptions without the need for time-consuming per-shape optimization or reliance on human-annotated texts during training or test-time optimization. Further, we demonstrate the applicability of our approach to generate indoor scenes with consistent styles using text-induced 3D shapes. Through extensive experiments, we demonstrate the compelling quality of our results and the high coherency of our generated shapes with the input texts, surpassing the performance of existing methods by a significant margin. Codes and models are released at https://github.com/liuzhengzhe/EXIM.
• Abstract（参考訳）: 本稿では,3次元形状生成のための新しいテキストガイド技術を提案する。 この技術は、明示的および暗黙的な表現の強さを組み合わせたハイブリッドな3D形状表現、すなわちEXIMを利用する。 具体的には、明示的なステージは生成された3d形状のトポロジーを制御し、局所的な修正を可能にする。 また、このハイブリッドアプローチでは、形状と色を分離し、形状と色彩の一貫性を確保するために形状を条件とした色を生成する。 既存の最先端手法とは違って、学習やテスト時間最適化において、時間を要する1つの形状の最適化や人間の注釈付きテキストへの依存を必要とせずに、自然言語記述から高忠実な形状を生成する。 さらに,テキスト入力による3次元形状を用いて,一貫したスタイルで室内シーンを生成する手法の適用性を示す。 広範な実験により, 既存の手法の性能をかなり上回って, 結果の説得力のある品質と, 生成した形状と入力テキストとの一貫性を実証した。 コードとモデルはhttps://github.com/liuzhengzhe/eximでリリースされている。

関連論文リスト

• NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation [52.772319840580074]
  3D形状生成は、特定の条件や制約に固執する革新的な3Dコンテンツを作成することを目的としている。 既存の方法は、しばしば3Dの形状を局所化されたコンポーネントの列に分解し、各要素を分離して扱う。 本研究では2次元平面表現を利用した空間認識型3次元形状生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T04:09:34Z)
• Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation [47.945556996219295]
  本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。 我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
  論文  参考訳（メタデータ） (2023-06-29T17:17:57Z)
• DreamStone: Image as Stepping Stone for Text-Guided 3D Shape Generation [105.97545053660619]
  テキスト誘導型3次元形状生成手法DreamStoneを提案する。 画像を使ってテキストと形状のギャップを埋め、ペアのテキストと3Dデータを必要とせずに3Dの形状を生成する。 我々のアプローチは汎用的で柔軟でスケーラブルであり、様々なSVRモデルと容易に統合でき、生成空間を拡大し、生成忠実性を向上させることができる。
  論文  参考訳（メタデータ） (2023-03-24T03:56:23Z)
• TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
  テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。 レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。 構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
  論文  参考訳（メタデータ） (2023-03-23T13:53:16Z)
• ISS: Image as Stetting Stone for Text-Guided 3D Shape Generation [91.37036638939622]
  本稿では,2つのモダリティを接続するステップストーンとして2次元画像を導入することで,その課題に対して,イメージ・アズ・ステッピング・ストーン(ISS)と呼ばれる新しいフレームワークを提案する。 私たちの重要な貢献は、CLIP機能を形状にマッピングする2段階の機能空間アライメントアプローチです。 出力形状を新しいテクスチャで表現するために,テキストガイド型スタイル化モジュールを定式化する。
  論文  参考訳（メタデータ） (2022-09-09T06:54:21Z)
• Towards Implicit Text-Guided 3D Shape Generation [81.22491096132507]
  本研究は,テキストから3次元形状を生成するという課題について考察する。 テキスト記述にマッチする色で高忠実な形状を生成できるテキスト誘導型3次元形状生成のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-03-28T10:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。