論文の概要: TwoSquared: 4D Generation from 2D Image Pairs

• arxiv url: http://arxiv.org/abs/2504.12825v1
• Date: Thu, 17 Apr 2025 10:39:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:36:50.344974
• Title: TwoSquared: 4D Generation from 2D Image Pairs
• Title（参考訳）: TwoSquared:2Dイメージペアから4D生成
• Authors: Lu Sang, Zehranaz Canfes, Dongliang Cao, Riccardo Marin, Florian Bernard, Daniel Cremers,
• Abstract要約: 本稿では,2次元RGB画像のみから4次元物理可視シーケンスを得る方法として,TwoSquaredを提案する。 2Squaredは,高品質な3Dアセットをトレーニングした既存の生成モデルに基づく画像から3Dモジュール生成と,中間運動を予測する物理的にインスパイアされた変形モジュールの2つのステップに分解する。 この目的のために,本手法ではテンプレートやオブジェクトクラス固有の事前知識を必要とせず,画像の入力を行うことができる。
• 参考スコア（独自算出の注目度）: 47.47045870313048
• License:
• Abstract: Despite the astonishing progress in generative AI, 4D dynamic object generation remains an open challenge. With limited high-quality training data and heavy computing requirements, the combination of hallucinating unseen geometry together with unseen movement poses great challenges to generative models. In this work, we propose TwoSquared as a method to obtain a 4D physically plausible sequence starting from only two 2D RGB images corresponding to the beginning and end of the action. Instead of directly solving the 4D generation problem, TwoSquared decomposes the problem into two steps: 1) an image-to-3D module generation based on the existing generative model trained on high-quality 3D assets, and 2) a physically inspired deformation module to predict intermediate movements. To this end, our method does not require templates or object-class-specific prior knowledge and can take in-the-wild images as input. In our experiments, we demonstrate that TwoSquared is capable of producing texture-consistent and geometry-consistent 4D sequences only given 2D images.
• Abstract（参考訳）: 生成AIの驚くべき進歩にもかかわらず、4D動的オブジェクト生成はオープンな課題である。 高品質なトレーニングデータと重い計算要求が限られているため、幻覚のない幾何学と見えない動きの組み合わせは、生成モデルに大きな課題をもたらす。 本研究では,アクションの開始と終了に対応する2次元RGB画像のみから,物理的に妥当な4Dシーケンスを得る方法としてTwoSquaredを提案する。 4D生成問題を直接解決する代わりに、TwoSquaredは2つのステップに分解する。 1)高品質な3Dアセットに基づいて訓練された既存の生成モデルに基づく画像から3Dモジュールの生成 2)中間運動を予測する物理的にインスパイアされた変形モジュール。 この目的のために,本手法ではテンプレートやオブジェクトクラス固有の事前知識を必要とせず,画像の入力を行うことができる。 本研究では,2次元画像のみのテクスチャ一貫性と幾何整合性を有する4次元配列を生成可能であることを示す。

関連論文リスト

• Neural 4D Evolution under Large Topological Changes from 2D Images [5.678824325812255]
  本研究では,大きなトポロジ的変化の下での3次元神経進化を4次元に拡張する上での課題に対処する。 i) 変形を識別・符号化する新しいアーキテクチャを導入し, SDF を学習し, (ii) 時間的一貫性を強制する手法を提案する。 2次元画像から直接の学習を容易にするために,RGB画像から幾何学や外観を遠ざける学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-22T15:47:42Z)
• MagicPose4D: Crafting Articulated Models with Appearance and Motion Control [17.161695123524563]
  我々は4次元生成における外観と動きの制御を洗練させるフレームワークであるMagicPose4Dを提案する。 現行の4D生成方法とは異なり、MagicPose4Dはモーションプロンプトとしてモノクラービデオやメッシュシーケンスを受け入れる。 我々はMagicPose4Dが4Dコンテンツ生成の精度と一貫性を著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-05-22T21:51:01Z)
• Beyond Skeletons: Integrative Latent Mapping for Coherent 4D Sequence Generation [48.671462912294594]
  与えられた条件下での3次元形状のアニメーションでコヒーレントな4次元配列を生成する新しいフレームワークを提案する。 まず、各詳細な3次元形状フレームの形状と色情報を符号化するために、積分潜在統一表現を用いる。 提案手法により,低次元空間における拡散モデルを用いて4次元配列の生成を制御できる。
  論文  参考訳（メタデータ） (2024-03-20T01:59:43Z)
• DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
  DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。 我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。 ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
  論文  参考訳（メタデータ） (2023-12-28T17:16:44Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• 4D Facial Expression Diffusion Model [3.507793603897647]
  本稿では,3次元表情系列を生成するための生成フレームワークを提案する。 これは、一連の3Dランドマークシーケンスでトレーニングされた生成モデルを学ぶことと、生成されたランドマークシーケンスによって駆動される入力された顔メッシュの3Dメッシュシーケンスを生成することの2つのタスクで構成されている。 実験により,本モデルは比較的小さなデータセットからのみ,現実的で質の高い表現を生成することができ,最先端の手法よりも改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-03-29T11:50:21Z)
• HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
  我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。 我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
  論文  参考訳（メタデータ） (2023-03-29T07:35:56Z)
• Cross-Modal 3D Shape Generation and Manipulation [62.50628361920725]
  本稿では,2次元のモダリティと暗黙の3次元表現を共用した多モード生成モデルを提案する。 グレースケールラインスケッチとレンダリングカラー画像の2つの代表的な2次元モーダル性について,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2022-07-24T19:22:57Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。