論文の概要: SeMv-3D: Towards Semantic and Mutil-view Consistency simultaneously for General Text-to-3D Generation with Triplane Priors

• arxiv url: http://arxiv.org/abs/2410.07658v1
• Date: Thu, 10 Oct 2024 07:02:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 15:46:26.765821
• Title: SeMv-3D: Towards Semantic and Mutil-view Consistency simultaneously for General Text-to-3D Generation with Triplane Priors
• Title（参考訳）: SeMv-3D:Triplane プリミティブを用いた汎用テキスト・ツー・3D生成のためのセマンティック・ミューティビュー整合性の実現に向けて
• Authors: Xiao Cai, Pengpeng Zeng, Lianli Gao, Junchen Zhu, Jiaxin Zhang, Sitong Su, Heng Tao Shen, Jingkuan Song,
• Abstract要約: 汎用テキストから3d生成のための新しいフレームワークであるSeMv-3Dを提案する。 3次元の空間的特徴を持つ3次元平面先行学習を学習し、3次元の異なる視点間の整合性を維持する三次元平面先行学習器を提案する。 また,3次元空間特徴とテキスト・セマンティクスとの整合性を保持するセマンティック・アラインメント・ビュー・シンセサイザーを設計する。
• 参考スコア（独自算出の注目度）: 115.66850201977887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in generic 3D content generation from text prompts have been remarkable by fine-tuning text-to-image diffusion (T2I) models or employing these T2I models as priors to learn a general text-to-3D model. While fine-tuning-based methods ensure great alignment between text and generated views, i.e., semantic consistency, their ability to achieve multi-view consistency is hampered by the absence of 3D constraints, even in limited view. In contrast, prior-based methods focus on regressing 3D shapes with any view that maintains uniformity and coherence across views, i.e., multi-view consistency, but such approaches inevitably compromise visual-textual alignment, leading to a loss of semantic details in the generated objects. To achieve semantic and multi-view consistency simultaneously, we propose SeMv-3D, a novel framework for general text-to-3d generation. Specifically, we propose a Triplane Prior Learner (TPL) that learns triplane priors with 3D spatial features to maintain consistency among different views at the 3D level, e.g., geometry and texture. Moreover, we design a Semantic-aligned View Synthesizer (SVS) that preserves the alignment between 3D spatial features and textual semantics in latent space. In SVS, we devise a simple yet effective batch sampling and rendering strategy that can generate arbitrary views in a single feed-forward inference. Extensive experiments present our SeMv-3D's superiority over state-of-the-art performances with semantic and multi-view consistency in any view. Our code and more visual results are available at https://anonymous.4open.science/r/SeMv-3D-6425.
• Abstract（参考訳）: テキストプロンプトからの汎用的な3Dコンテンツ生成の進歩は、微調整によるテキスト・ツー・イメージ拡散(T2I)モデルや、一般的なテキスト・トゥ・3Dモデルを学ぶためにこれらのT2Iモデルを先行として採用することで顕著である。 微調整に基づく手法は、テキストと生成されたビュー、すなわち意味的な一貫性を保証するが、多視点一貫性を実現する能力は、限られたビューであっても3D制約が欠如していることによって妨げられる。 対照的に、先行する手法は、ビュー間の一様性とコヒーレンスを維持するあらゆるビュー、すなわち複数ビューの一貫性を保ちながら、3次元の形状を回帰することに焦点を当てるが、このようなアプローチは必然的に視覚的・テクスチュアルなアライメントを損なうため、生成されたオブジェクトのセマンティックな詳細が失われる。 セマンティックとマルチビューの一貫性を同時に達成するために,汎用テキスト・ツー・3d生成のための新しいフレームワークであるSeMv-3Dを提案する。 具体的には、3次元空間的特徴を持つ3次元平面先行学習を学習し、3次元の異なる視点、例えば幾何学やテクスチャの整合性を維持する三次元平面先行学習システム(TPL)を提案する。 さらに,3次元空間特徴とテキスト・セマンティック・セマンティック・セマンティック・ビュー・シンセサイザー(SVS)の設計を行った。 SVSでは、単一のフィードフォワード推論で任意のビューを生成することができる、単純で効果的なバッチサンプリングとレンダリング戦略を考案する。 総合的な実験により、セムブ3Dは、セマンティックとマルチビューの整合性を持つ最先端の性能よりも優れていることが示された。 私たちのコードとよりビジュアルな結果はhttps://anonymous.4open.science/r/SeMv-3D-6425で公開されています。

関連論文リスト

• Weakly-Supervised 3D Visual Grounding based on Visual Linguistic Alignment [26.858034573776198]
  視覚言語アライメントに基づく3次元視覚接地のための弱教師付きアプローチを提案する。 我々の3D-VLAは、テキストと2D画像のセマンティクスの整合性において、現在の大規模視覚言語モデルの優れた能力を利用する。 推論段階では、学習したテキスト3D対応は、2D画像がなくてもテキストクエリを3D対象オブジェクトにグラウンド化するのに役立ちます。
  論文  参考訳（メタデータ） (2023-12-15T09:08:14Z)
• SceneWiz3D: Towards Text-guided 3D Scene Composition [134.71933134180782]
  既存のアプローチでは、大規模なテキスト・ツー・イメージモデルを使用して3D表現を最適化するか、オブジェクト中心のデータセット上で3Dジェネレータをトレーニングする。 テキストから高忠実度3Dシーンを合成する新しい手法であるSceneWiz3Dを紹介する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:30Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• Sculpting Holistic 3D Representation in Contrastive Language-Image-3D Pre-training [51.632418297156605]
  コントラスト型言語画像3D事前学習において, ホロリスティックな3D表現を彫刻するMixCon3Dを提案する。 相補的な視点から3次元オブジェクトレベルの表現を開発する。 次に、MixCon3Dは言語3Dのコントラスト学習を行い、現実世界の3Dオブジェクトを包括的に表現し、テキストアライメントを強化する。
  論文  参考訳（メタデータ） (2023-11-03T06:05:36Z)
• T$^3$Bench: Benchmarking Current Progress in Text-to-3D Generation [52.029698642883226]
  テキストから3Dへの手法は、強力な事前学習拡散モデルを利用してNeRFを最適化する。 ほとんどの研究は、主観的なケーススタディとユーザ実験で結果を評価している。 最初の総合的なテキスト・ツー・3DベンチマークであるT$3$Benchを紹介する。
  論文  参考訳（メタデータ） (2023-10-04T17:12:18Z)
• Chasing Consistency in Text-to-3D Generation from a Single Image [35.60887743544786]
  一つの画像から意味的・幾何学的・飽和的・持続的テキスト・ツー・3D生成のための3段階のフレームワークであるConsist3Dを提案する。 具体的には、セマンティックエンコーディングステージは、ビューと推定から独立してトークンを学習し、セマンティック一貫性とロバスト性を促進する。 幾何符号化段階は、新しい視点推定の下で包括的幾何学的制約と再構成的制約で別のトークンを学習し、過剰適合を減らし、幾何整合を奨励する。
  論文  参考訳（メタデータ） (2023-09-07T09:50:48Z)
• ViewRefer: Grasp the Multi-view Knowledge for 3D Visual Grounding with GPT and Prototype Guidance [48.748738590964216]
  視覚的グラウンドティングのための多視点フレームワークであるViewReferを提案する。 テキストブランチでは、ViewReferは単一の接地テキストを複数の幾何学的な記述に拡張する。 3次元モードでは、ビュー間でのオブジェクトの相互作用を促進するために、ビュー間の注意を伴うトランスフォーマー融合モジュールが導入された。
  論文  参考訳（メタデータ） (2023-03-29T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。