論文の概要: CT4D: Consistent Text-to-4D Generation with Animatable Meshes

• arxiv url: http://arxiv.org/abs/2408.08342v1
• Date: Thu, 15 Aug 2024 14:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:29:47.412072
• Title: CT4D: Consistent Text-to-4D Generation with Animatable Meshes
• Title（参考訳）: CT4D: アニマタブルメッシュによるテキスト対4D生成
• Authors: Ce Chen, Shaoli Huang, Xuelin Chen, Guangyi Chen, Xiaoguang Han, Kun Zhang, Mingming Gong,
• Abstract要約: 我々は,任意のユーザ供給プロンプトから一貫した4Dコンテンツを生成するために,アニマタブルメッシュを直接操作するCT4Dという新しいフレームワークを提案する。 我々のフレームワークは、テキスト整列メッシュの作成を強化するために、ユニークなGenerate-Refine-Animate (GRA)アルゴリズムを組み込んでいる。 定性的かつ定量的な実験結果から,我々のCT4Dフレームワークは,フレーム間の整合性の維持とグローバルジオメトリの保存において,既存のテキスト・ツー・4D技術を超えていることが示された。
• 参考スコア（独自算出の注目度）: 53.897244823604346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-4D generation has recently been demonstrated viable by integrating a 2D image diffusion model with a video diffusion model. However, existing models tend to produce results with inconsistent motions and geometric structures over time. To this end, we present a novel framework, coined CT4D, which directly operates on animatable meshes for generating consistent 4D content from arbitrary user-supplied prompts. The primary challenges of our mesh-based framework involve stably generating a mesh with details that align with the text prompt while directly driving it and maintaining surface continuity. Our CT4D framework incorporates a unique Generate-Refine-Animate (GRA) algorithm to enhance the creation of text-aligned meshes. To improve surface continuity, we divide a mesh into several smaller regions and implement a uniform driving function within each area. Additionally, we constrain the animating stage with a rigidity regulation to ensure cross-region continuity. Our experimental results, both qualitative and quantitative, demonstrate that our CT4D framework surpasses existing text-to-4D techniques in maintaining interframe consistency and preserving global geometry. Furthermore, we showcase that this enhanced representation inherently possesses the capability for combinational 4D generation and texture editing.
• Abstract（参考訳）: 近年,2次元画像拡散モデルとビデオ拡散モデルを統合することで,テキストから4Dへの変換が可能であることが実証されている。 しかし、既存のモデルは時間の経過とともに不整合運動や幾何学的構造を伴う結果を生み出す傾向にある。 この目的のために,任意のユーザからのプロンプトから一貫した4Dコンテンツを生成するために,アニマタブルメッシュを直接操作するCT4Dという新しいフレームワークを提案する。 メッシュベースのフレームワークの主な課題は、テキストプロンプトと一致し、直接駆動し、表面の連続性を維持する詳細なメッシュを安定して生成することです。 我々のCT4Dフレームワークは、テキスト整列メッシュの作成を強化するために、ユニークなGenerate-Refine-Animate (GRA)アルゴリズムを組み込んでいる。 表面の連続性を改善するため、メッシュをいくつかの小さな領域に分割し、各領域内で一様駆動機能を実装する。 さらに,アニメーションの段階を剛性規制で制約し,領域間の連続性を確保する。 定性的かつ定量的な実験結果から,我々のCT4Dフレームワークは,フレーム間の整合性の維持とグローバルジオメトリの保存において,既存のテキスト・ツー・4D技術を超えていることが示された。 さらに、この拡張された表現は本質的に4D生成とテクスチャ編集の能力を持っていることを示す。

関連論文リスト

• Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
  3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。 しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。 本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:59Z)
• Trans4D: Realistic Geometry-Aware Transition for Compositional Text-to-4D Synthesis [60.853577108780414]
  既存の4D生成方法は、ユーザフレンドリーな条件に基づいて高品質な4Dオブジェクトやシーンを生成することができる。 現実的な複雑なシーン遷移を可能にする新しいテキストから4D合成フレームワークであるTrans4Dを提案する。 実験では、Trans4Dは、4Dシーンを正確かつ高品質な遷移で生成する既存の最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-10-09T17:56:03Z)
• PLA4D: Pixel-Level Alignments for Text-to-4D Gaussian Splatting [9.517058280333806]
  従来のテキストから4Dへの方法は、複数のスコア蒸留サンプリング(SDS)技術を活用している。 textbfPixel-textbfLevel textbfAlignment for text-driven textbf4D Gaussian splatting (PLA4D) PLA4Dはアンカー参照、すなわちテキスト生成ビデオを提供し、画素空間内の異なるDMによって条件付けられたレンダリングプロセスを調整する。
  論文  参考訳（メタデータ） (2024-05-30T11:23:01Z)
• Comp4D: LLM-Guided Compositional 4D Scene Generation [65.5810466788355]
  合成 4D 生成のための新しいフレームワーク Comp4D について述べる。 シーン全体の特異な4D表現を生成する従来の方法とは異なり、Comp4Dはシーン内の各4Dオブジェクトを革新的に別々に構築する。 提案手法は, 予め定義された軌道で導かれる合成スコア蒸留技術を用いている。
  論文  参考訳（メタデータ） (2024-03-25T17:55:52Z)
• Beyond Skeletons: Integrative Latent Mapping for Coherent 4D Sequence Generation [48.671462912294594]
  与えられた条件下での3次元形状のアニメーションでコヒーレントな4次元配列を生成する新しいフレームワークを提案する。 まず、各詳細な3次元形状フレームの形状と色情報を符号化するために、積分潜在統一表現を用いる。 提案手法により,低次元空間における拡散モデルを用いて4次元配列の生成を制御できる。
  論文  参考訳（メタデータ） (2024-03-20T01:59:43Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  この4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 静的な3Dアセットとモノクロビデオシーケンスを4Dコンテンツ構築のキーコンポーネントとして同定する。 我々のパイプラインは条件付き4D生成を容易にし、ユーザーは幾何学(3Dアセット)と運動(眼球ビデオ)を指定できる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。