論文の概要: Towards Implicit Text-Guided 3D Shape Generation

• arxiv url: http://arxiv.org/abs/2203.14622v1
• Date: Mon, 28 Mar 2022 10:20:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 15:29:44.377683
• Title: Towards Implicit Text-Guided 3D Shape Generation
• Title（参考訳）: テキストガイドによる3次元形状生成に向けて
• Authors: Zhengzhe Liu, Yi Wang, Xiaojuan Qi, Chi-Wing Fu
• Abstract要約: 本研究は,テキストから3次元形状を生成するという課題について考察する。 テキスト記述にマッチする色で高忠実な形状を生成できるテキスト誘導型3次元形状生成のための新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 81.22491096132507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we explore the challenging task of generating 3D shapes from text. Beyond the existing works, we propose a new approach for text-guided 3D shape generation, capable of producing high-fidelity shapes with colors that match the given text description. This work has several technical contributions. First, we decouple the shape and color predictions for learning features in both texts and shapes, and propose the word-level spatial transformer to correlate word features from text with spatial features from shape. Also, we design a cyclic loss to encourage consistency between text and shape, and introduce the shape IMLE to diversify the generated shapes. Further, we extend the framework to enable text-guided shape manipulation. Extensive experiments on the largest existing text-shape benchmark manifest the superiority of this work. The code and the models are available at https://github.com/liuzhengzhe/Towards-Implicit Text-Guided-Shape-Generation.
• Abstract（参考訳）: 本研究では,テキストから3次元形状を生成するという課題について検討する。 そこで本研究では,テキスト記述にマッチする色で高忠実な形状を生成できる3次元形状生成手法を提案する。 この作品にはいくつかの技術的貢献がある。 まず、テキストと形状の両方の特徴を学習するための形状と色予測を分離し、単語の特徴と形状の空間的特徴を相関付ける単語レベル空間変換器を提案する。 また,テキストと形状の一貫性を促進するために循環損失をデザインし,生成した形状を多様化する形状イムレを導入する。 さらに,テキスト誘導型形状操作を可能にするフレームワークを拡張した。 既存の最大のテキストシェープベンチマークに関する大規模な実験は、この研究の優位性を示している。 コードとモデルはhttps://github.com/liuzhengzhe/Towards-Implicit Text-Guided-Shape-Generationで公開されている。

関連論文リスト

• HyperSDFusion: Bridging Hierarchical Structures in Language and Geometry for Enhanced 3D Text2Shape Generation [55.95329424826433]
  テキストから3次元形状を生成する2分岐拡散モデルHyperSDFusionを提案する。 双曲空間におけるテキストと3次元形状の階層的表現を学習する。 本手法は,テキスト・ツー・シェイプ生成のための双曲的階層表現を初めて探求する手法である。
  論文  参考訳（メタデータ） (2024-03-01T08:57:28Z)
• EXIM: A Hybrid Explicit-Implicit Representation for Text-Guided 3D Shape Generation [124.27302003578903]
  本稿では,3次元形状を生成するための新しいテキスト誘導手法を提案する。 我々は,明示的表現と暗黙的表現の強みを組み合わせたハイブリッド3D表現,すなわちEXIMを活用する。 テキスト誘導型3次元形状を用いた室内シーンを一貫したスタイルで生成する手法の適用性を示した。
  論文  参考訳（メタデータ） (2023-11-03T05:01:51Z)
• DreamStone: Image as Stepping Stone for Text-Guided 3D Shape Generation [105.97545053660619]
  テキスト誘導型3次元形状生成手法DreamStoneを提案する。 画像を使ってテキストと形状のギャップを埋め、ペアのテキストと3Dデータを必要とせずに3Dの形状を生成する。 我々のアプローチは汎用的で柔軟でスケーラブルであり、様々なSVRモデルと容易に統合でき、生成空間を拡大し、生成忠実性を向上させることができる。
  論文  参考訳（メタデータ） (2023-03-24T03:56:23Z)
• TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
  テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。 レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。 構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
  論文  参考訳（メタデータ） (2023-03-23T13:53:16Z)
• ISS: Image as Stetting Stone for Text-Guided 3D Shape Generation [91.37036638939622]
  本稿では,2つのモダリティを接続するステップストーンとして2次元画像を導入することで,その課題に対して,イメージ・アズ・ステッピング・ストーン(ISS)と呼ばれる新しいフレームワークを提案する。 私たちの重要な貢献は、CLIP機能を形状にマッピングする2段階の機能空間アライメントアプローチです。 出力形状を新しいテクスチャで表現するために,テキストガイド型スタイル化モジュールを定式化する。
  論文  参考訳（メタデータ） (2022-09-09T06:54:21Z)
• ShapeCrafter: A Recursive Text-Conditioned 3D Shape Generation Model [16.431391515731367]
  テキスト条件付き3D形状を生成する既存の方法は、テキストプロンプト全体を消費し、単一のステップで3D形状を生成する。 初期フレーズに条件付き3次元形状分布を生成する手法を提案する。 結果から,本手法はテキスト記述と整合した形状を生成でき,さらに多くのフレーズが追加されるにつれて形が徐々に進化していくことが明らかとなった。
  論文  参考訳（メタデータ） (2022-07-19T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。