論文の概要: ShapeWords: Guiding Text-to-Image Synthesis with 3D Shape-Aware Prompts
- arxiv url: http://arxiv.org/abs/2412.02912v1
- Date: Tue, 03 Dec 2024 23:37:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-05 15:10:08.954467
- Title: ShapeWords: Guiding Text-to-Image Synthesis with 3D Shape-Aware Prompts
- Title（参考訳）: ShapeWords:3次元形状認識プロンプトによるテキスト・画像合成の誘導
- Authors: Dmitry Petrov, Pradyumn Goyal, Divyansh Shivashok, Yuanming Tao, Melinos Averkiou, Evangelos Kalogerakis,
- Abstract要約: ShapeWordsは3D形状誘導とテキストプロンプトに基づいて画像を合成するアプローチである。
ShapeWordsは入力テキストに埋め込まれた特別なトークンにターゲットの3D形状情報を組み込む。
- 参考スコア（独自算出の注目度）: 6.39692386138772
- License:
- Abstract: We introduce ShapeWords, an approach for synthesizing images based on 3D shape guidance and text prompts. ShapeWords incorporates target 3D shape information within specialized tokens embedded together with the input text, effectively blending 3D shape awareness with textual context to guide the image synthesis process. Unlike conventional shape guidance methods that rely on depth maps restricted to fixed viewpoints and often overlook full 3D structure or textual context, ShapeWords generates diverse yet consistent images that reflect both the target shape's geometry and the textual description. Experimental results show that ShapeWords produces images that are more text-compliant, aesthetically plausible, while also maintaining 3D shape awareness.
- Abstract（参考訳）: 本稿では,3次元形状誘導とテキストプロンプトに基づく画像合成手法であるShapeWordsを紹介する。
ShapeWordsは、入力テキストに埋め込まれた特殊トークンにターゲット3D形状情報を組み込んで、3D形状認識とテキストコンテキストを効果的にブレンドし、画像合成プロセスを導く。
固定された視点に制限された奥行きマップに依存し、フル3D構造やテクスチャコンテキストを見渡す従来の形状誘導法とは異なり、ShapeWordsはターゲット形状とテクスチャ記述の両方を反映した多様な一貫性のある画像を生成する。
実験の結果,ShapeWordsは3次元形状認識を維持しつつ,テキストに準拠し,審美的にも有用である画像を生成することがわかった。
関連論文リスト
- Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。
2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。
合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
論文 参考訳（メタデータ） (2023-11-09T15:50:32Z) - EXIM: A Hybrid Explicit-Implicit Representation for Text-Guided 3D Shape
Generation [124.27302003578903]
本稿では,3次元形状を生成するための新しいテキスト誘導手法を提案する。
我々は,明示的表現と暗黙的表現の強みを組み合わせたハイブリッド3D表現,すなわちEXIMを活用する。
テキスト誘導型3次元形状を用いた室内シーンを一貫したスタイルで生成する手法の適用性を示した。
論文 参考訳（メタデータ） (2023-11-03T05:01:51Z) - Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text
Aligned Latent Representation [47.945556996219295]
本稿では2次元画像やテキストに基づいて3次元形状を生成する新しいアライメント前世代手法を提案する。
我々のフレームワークは、形状-画像-テキスト対応変分自動エンコーダ(SITA-VAE)と条件付き形状遅延拡散モデル(ASLDM)の2つのモデルで構成されている。
論文 参考訳（メタデータ） (2023-06-29T17:17:57Z) - TAPS3D: Text-Guided 3D Textured Shape Generation from Pseudo Supervision [114.56048848216254]
テキスト誘導型3次元形状生成器を疑似キャプションで訓練するための新しいフレームワークTAPS3Dを提案する。
レンダリングされた2D画像に基づいて,CLIP語彙から関連する単語を検索し,テンプレートを用いて擬似キャプションを構築する。
構築したキャプションは、生成された3次元形状の高レベルなセマンティック管理を提供する。
論文 参考訳（メタデータ） (2023-03-23T13:53:16Z) - ISS: Image as Stetting Stone for Text-Guided 3D Shape Generation [91.37036638939622]
本稿では,2つのモダリティを接続するステップストーンとして2次元画像を導入することで,その課題に対して,イメージ・アズ・ステッピング・ストーン(ISS)と呼ばれる新しいフレームワークを提案する。
私たちの重要な貢献は、CLIP機能を形状にマッピングする2段階の機能空間アライメントアプローチです。
出力形状を新しいテクスチャで表現するために,テキストガイド型スタイル化モジュールを定式化する。
論文 参考訳（メタデータ） (2022-09-09T06:54:21Z) - Towards Implicit Text-Guided 3D Shape Generation [81.22491096132507]
本研究は,テキストから3次元形状を生成するという課題について考察する。
テキスト記述にマッチする色で高忠実な形状を生成できるテキスト誘導型3次元形状生成のための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-03-28T10:20:03Z) - Self-Supervised 2D Image to 3D Shape Translation with Disentangled
Representations [92.89846887298852]
本稿では,2次元画像ビューと3次元オブジェクト形状を翻訳するフレームワークを提案する。
形状変換のための自己教師型画像変換フレームワークであるSISTを提案する。
論文 参考訳（メタデータ） (2020-03-22T22:44:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。