論文の概要: PhysGen3D: Crafting a Miniature Interactive World from a Single Image

• arxiv url: http://arxiv.org/abs/2503.20746v1
• Date: Wed, 26 Mar 2025 17:31:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:20:09.821464
• Title: PhysGen3D: Crafting a Miniature Interactive World from a Single Image
• Title（参考訳）: PhysGen3D:1枚の画像からミニチュアインタラクティブな世界を作る
• Authors: Boyuan Chen, Hanxiao Jiang, Shaowei Liu, Saurabh Gupta, Yunzhu Li, Hao Zhao, Shenlong Wang,
• Abstract要約: PhysGen3Dは、単一の画像をアモーダルでカメラ中心のインタラクティブな3Dシーンに変換する新しいフレームワークだ。 中心となるPhysGen3Dは、物体の3D形状、ポーズ、物理的および照明特性を推定する。 我々はPhysGen3Dの性能を、Pika、Kling、Gen-3など、クローズド・ソース・オブ・ザ・アート(SOTA)画像・ビデオモデルと比較した。
• 参考スコア（独自算出の注目度）: 31.41059199853702
• License:
• Abstract: Envisioning physically plausible outcomes from a single image requires a deep understanding of the world's dynamics. To address this, we introduce PhysGen3D, a novel framework that transforms a single image into an amodal, camera-centric, interactive 3D scene. By combining advanced image-based geometric and semantic understanding with physics-based simulation, PhysGen3D creates an interactive 3D world from a static image, enabling us to "imagine" and simulate future scenarios based on user input. At its core, PhysGen3D estimates 3D shapes, poses, physical and lighting properties of objects, thereby capturing essential physical attributes that drive realistic object interactions. This framework allows users to specify precise initial conditions, such as object speed or material properties, for enhanced control over generated video outcomes. We evaluate PhysGen3D's performance against closed-source state-of-the-art (SOTA) image-to-video models, including Pika, Kling, and Gen-3, showing PhysGen3D's capacity to generate videos with realistic physics while offering greater flexibility and fine-grained control. Our results show that PhysGen3D achieves a unique balance of photorealism, physical plausibility, and user-driven interactivity, opening new possibilities for generating dynamic, physics-grounded video from an image.
• Abstract（参考訳）: 一つの画像から物理的に妥当な結果を想定するには、世界のダイナミクスを深く理解する必要がある。 この問題を解決するために,PhysGen3Dという,単一の画像をアモーダルなカメラ中心のインタラクティブな3Dシーンに変換する新しいフレームワークを紹介した。 PhysGen3Dは、高度な画像に基づく幾何的・意味的な理解と物理に基づくシミュレーションを組み合わせることで、静的画像からインタラクティブな3D世界を作り、ユーザ入力に基づいて「想像」し、将来のシナリオをシミュレートする。 PhysGen3Dは、物体の3次元形状、ポーズ、物理的および照明特性を推定し、現実的な物体の相互作用を駆動する重要な物理的特性を捉える。 このフレームワークにより、ユーザはオブジェクトの速度や材料特性などの正確な初期条件を指定でき、生成されたビデオ結果の制御が強化される。 我々はPhysGen3Dの性能を、Pika、Kling、Gen-3といったクローズド・ソース・オブ・ザ・アート(SOTA)イメージ・ツー・ビデオモデルに対して評価し、より柔軟性ときめ細かい制御を提供しながら、現実的な物理で動画を生成する能力を示した。 以上の結果から,PhysGen3Dはフォトリアリズム,物理可視性,ユーザ主導の対話性のバランスを保ち,ダイナミックな物理地上映像を画像から生成する新たな可能性を開くことが示唆された。

関連論文リスト

• Text-to-3D Gaussian Splatting with Physics-Grounded Motion Generation [47.6666060652434]
  正確な外観と幾何学的構造を持つ3次元モデルを生成する革新的なフレームワークを提案する。 テキスト・ツー・3D生成と物理基底運動合成を統合することにより,本フレームワークはフォトリアリスティックな3Dオブジェクトを描画する。
  論文  参考訳（メタデータ） (2024-12-07T06:48:16Z)
• PhysMotion: Physics-Grounded Dynamics From a Single Image [24.096925413047217]
  本稿では、物理シミュレーションを利用した新しいフレームワークであるPhysMotionを紹介し、一つの画像と入力条件から生成された中間3次元表現をガイドする。 我々のアプローチは、従来のデータ駆動生成モデルの限界に対処し、より一貫した物理的に妥当な動きをもたらす。
  論文  参考訳（メタデータ） (2024-11-26T07:59:11Z)
• Phys4DGen: A Physics-Driven Framework for Controllable and Efficient 4D Content Generation from a Single Image [3.131272328696594]
  既存の方法は、4Dコンテンツのダイナミクスを導くために、事前訓練されたビデオ拡散モデルに大きく依存している。 物理対応の4Dコンテンツを生成する新しいフレームワークであるPhys4DGenを提案する。 物理的特性を視覚的に推測する人間の能力に触発され,物理知覚モジュールが導入された。
  論文  参考訳（メタデータ） (2024-11-25T12:12:38Z)
• PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
  本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。 リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。 我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
  論文  参考訳（メタデータ） (2024-09-27T17:59:57Z)
• Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
  本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。 単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。 我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
  論文  参考訳（メタデータ） (2024-06-18T16:37:44Z)
• Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
  ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。 本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。 弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-06T17:59:47Z)
• DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• Physically Compatible 3D Object Modeling from a Single Image [109.98124149566927]
  単一画像を3次元物理オブジェクトに変換するフレームワークを提案する。 我々のフレームワークは、リコンストラクションプロセスに物理的な互換性を組み込む。 既存の手法よりも3Dモデルの物理的リアリズムを一貫して強化する。
  論文  参考訳（メタデータ） (2024-05-30T21:59:29Z)
• PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
  PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。 本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T17:41:05Z)
• PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations [62.14943588289551]
  逆レンダリングと逆物理を組み合わせた新しいフレームワークであるPhysAvatarを導入し、人間の形や外観を自動的に推定する。 PhysAvatarは、トレーニングデータに見られない動きや照明条件の下で、ゆったりした服を着たアバターを再構築する。
  論文  参考訳（メタデータ） (2024-04-05T21:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。