論文の概要: CausalGS: Learning Physical Causality of 3D Dynamic Scenes with Gaussian Representations
- arxiv url: http://arxiv.org/abs/2605.10586v1
- Date: Mon, 11 May 2026 13:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.868182
- Title: CausalGS: Learning Physical Causality of 3D Dynamic Scenes with Gaussian Representations
- Title(参考訳): CausalGS:ガウス表現を用いた3次元動的シーンの物理的因果性学習
- Authors: Nengbo Lu, Minghua Pan,
- Abstract要約: CausalGSは、複雑なダイナミックな3Dシーンの因果ダイナミクスをマルチビュービデオから学習するフレームワークである。
我々の研究は、人間のアノテーションがなければ、モデルは複数の物理的性質の間の複雑な相互作用を学習できることを示している。
- 参考スコア(独自算出の注目度): 0.3580891736370874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning a physical model from video data that can comprehend physical laws and predict the future trajectories of objects is a formidable challenge in artificial intelligence. Prior approaches either leverage various Partial Differential Equations (PDEs) as soft constraints in the form of PINN losses, or integrate physics simulators into neural networks; however, they often rely on strong priors or high-quality geometry reconstruction. In this paper, we propose CausalGS, a framework that learns the causal dynamics of complex dynamic 3D scenes solely from multi-view videos, while dispensing with the reliance on explicit priors. At its core is an inverse physics inference module that decouples the complex dynamics problem from the video into the joint inference of two factors: the initial velocity field representing the scene's kinematics, and the intrinsic material properties governing its dynamics. This inferred physical information is then utilized within a differentiable physics simulator to guide the learning process in a physics-regularized manner. Extensive experiments demonstrate that CausalGS surpasses the state-of-the-art on the highly challenging task of long-term future frame extrapolation, while also exhibiting advanced performance in novel view interpolation. Crucially, our work shows that, without any human annotation, the model is able to learn the complex interactions between multiple physical properties and understand the causal relationships driving the scene's dynamic evolution, solely from visual observations.
- Abstract(参考訳): 物理法則を理解し、オブジェクトの将来の軌跡を予測するビデオデータから物理モデルを学ぶことは、人工知能において非常に難しい課題である。
従来のアプローチでは、PINN損失の形で様々な偏微分方程式(PDE)をソフト制約として活用するか、あるいは物理シミュレータをニューラルネットワークに統合するが、強い事前や高品質な幾何再構成に依存することが多い。
本稿では,多視点ビデオのみから複雑な動的3Dシーンの因果ダイナミクスを学習するフレームワークCausalGSを提案する。
コアとなる逆物理推論モジュールは、複雑な力学問題をビデオから、シーンの運動論を表す初期速度場と、その力学を規定する固有の物質特性の2つの要素のジョイント推論に分解する。
この推論された物理情報は、微分可能な物理シミュレーター内で利用され、物理規則化された方法で学習プロセスを導出する。
大規模な実験により、CausalGSは長期のフレーム外挿における非常に困難な課題を克服し、新規なビュー補間において高度な性能を示した。
重要なことは、人間のアノテーションがなければ、モデルは複数の物理的性質の間の複雑な相互作用を学習し、シーンの動的進化を駆動する因果関係を理解することができる。
関連論文リスト
- VeloGauss: Learning Physically Consistent Gaussian Velocity Fields from Videos [11.004005265944706]
VeloGaussは、複雑なダイナミックな3Dシーンの物理的特性を物理的に学習するように設計されている。
本研究では,各ガウス粒子の速度場を物理コードと粒子動力学システムを導入して学習する。
論文 参考訳(メタデータ) (2026-05-11T13:38:14Z) - PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。
i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
論文 参考訳(メタデータ) (2026-04-30T17:53:03Z) - PhysInOne: Visual Physics Learning and Reasoning in One Suite [41.08902311182402]
我々は、AIシステムのための物理地上トレーニングデータの致命的な不足に対処する大規模な合成データセットであるPhysInOneを提示する。
数百から数千のサンプルに制限された既存のデータセットとは異なり、PhysInOneは153,810のダイナミックな3Dシーンに200万のビデオを提供する。
我々はPhysInOneの有効性を、物理対応ビデオ生成、長期・短期のフレーム予測、物理的特性推定、モーション転送の4つの新しいアプリケーションで実証する。
論文 参考訳(メタデータ) (2026-04-10T15:27:27Z) - MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。
MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
論文 参考訳(メタデータ) (2026-04-03T07:32:24Z) - PhysAlign: Physics-Coherent Image-to-Video Generation through Feature and 3D Representation Alignment [23.066204478030627]
ビデオモデル(VDM)は、動的なシーンや環境をシミュレートするための有望なアプローチを提供する。
既存のモデルは、しばしば基本的な物理的直観に反する時間的に一貫性のないコンテンツを生成する。
物理コヒーレントな画像対ビデオI(2V)生成のための効率的なフレームワークであるPhysAlignを提案する。
論文 参考訳(メタデータ) (2026-03-14T05:44:18Z) - PhysGaia: A Physics-Aware Dataset of Multi-Body Interactions for Dynamic Novel View Synthesis [62.283499219361595]
PhysGaiaは動的ノベルビュー合成(DyNVS)のために設計された物理対応のデータセットである。
私たちのデータセットは、複数のオブジェクト間のリッチな相互作用を伴う複雑な動的シナリオを提供します。
PhysGaiaは、動的ビュー合成、物理に基づくシーン理解、および物理シミュレーションと統合されたディープラーニングモデルの研究を著しく前進させる。
論文 参考訳(メタデータ) (2025-06-03T12:19:18Z) - Integrating Physics and Topology in Neural Networks for Learning Rigid Body Dynamics [6.675805308519987]
剛体力学と学習衝突相互作用をモデル化するための新しい枠組みを提案する。
そこで本研究では,物理法則を直接モデルに組み込む物理インフォームドメッセージパッシングニューラルアーキテクチャを提案する。
この研究は、様々な科学的・工学的な領域にまたがる応用において、マルチエンタリティ・ダイナミックな相互作用の課題に対処する。
論文 参考訳(メタデータ) (2024-11-18T11:03:15Z) - Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。
単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。
我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
論文 参考訳(メタデータ) (2024-06-18T16:37:44Z) - PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。
この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。
また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
論文 参考訳(メタデータ) (2024-04-25T15:06:58Z) - Dynamic Visual Reasoning by Learning Differentiable Physics Models from
Video and Language [92.7638697243969]
視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。
これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
論文 参考訳(メタデータ) (2021-10-28T17:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。