論文の概要: TRACE: Learning 3D Gaussian Physical Dynamics from Multi-view Videos

• arxiv url: http://arxiv.org/abs/2508.09811v1
• Date: Wed, 13 Aug 2025 13:43:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.909947
• Title: TRACE: Learning 3D Gaussian Physical Dynamics from Multi-view Videos
• Title（参考訳）: TRACE:マルチビュービデオから3Dガウス物理ダイナミクスを学ぶ
• Authors: Jinxi Li, Ziyang Song, Bo Yang,
• Abstract要約: 複雑な動的3次元シーンの運動物理をモデル化する新しいフレームワークTRACEを提案する。 各3次元点を空間の大きさと向きの剛性粒子として定式化することにより、各粒子の変換回転力学系を直接学習する。
• 参考スコア（独自算出の注目度）: 7.616167860385134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we aim to model 3D scene geometry, appearance, and physical information just from dynamic multi-view videos in the absence of any human labels. By leveraging physics-informed losses as soft constraints or integrating simple physics models into neural nets, existing works often fail to learn complex motion physics, or doing so requires additional labels such as object types or masks. We propose a new framework named TRACE to model the motion physics of complex dynamic 3D scenes. The key novelty of our method is that, by formulating each 3D point as a rigid particle with size and orientation in space, we directly learn a translation rotation dynamics system for each particle, explicitly estimating a complete set of physical parameters to govern the particle's motion over time. Extensive experiments on three existing dynamic datasets and one newly created challenging synthetic datasets demonstrate the extraordinary performance of our method over baselines in the task of future frame extrapolation. A nice property of our framework is that multiple objects or parts can be easily segmented just by clustering the learned physical parameters.
• Abstract（参考訳）: 本稿では,人間ラベルのない動的多視点映像から3次元シーンの形状,外観,物理情報をモデル化することを目的とする。 物理学で表現された損失をソフトな制約として活用したり、単純な物理モデルをニューラルネットに組み込んだりすることで、既存の研究は複雑な運動物理学を学ばず、オブジェクトタイプやマスクのような追加のラベルを必要とすることが多い。 複雑な動的3次元シーンの運動物理をモデル化する新しいフレームワークTRACEを提案する。 この手法の重要な特徴は、各3次元点を空間の大きさと配向を持つ剛性粒子として定式化することにより、各粒子の変換回転力学系を直接学習し、粒子の運動を経時的に支配する物理パラメータの完全な集合を明示的に推定することである。 3つの既存の動的データセットと1つの新しい挑戦的合成データセットに関する大規模な実験は、将来のフレーム外挿作業におけるベースラインよりも、我々の手法の異常な性能を実証している。 私たちのフレームワークのよい特性は、学習した物理パラメータをクラスタリングするだけで、複数のオブジェクトやパーツを簡単にセグメンテーションできるということです。

関連論文リスト

• Particle-Grid Neural Dynamics for Learning Deformable Object Models from RGB-D Videos [30.367498271886866]
  我々は,物体粒子と空間格子をハイブリッド表現で結合したニューラル・ダイナミクス・フレームワークを開発した。 我々は,ロボットと物体の相互作用の疎視的RGB-D記録から,多様な物体のダイナミックスを学習できることを実証した。 提案手法は,特にカメラビューに制限のあるシナリオにおいて,最先端の学習ベースシミュレータや物理ベースのシミュレータよりも優れている。
  論文  参考訳（メタデータ） (2025-06-18T17:59:38Z)
• FreeGave: 3D Physics Learning from Dynamic Videos by Gaussian Velocity [15.375932203870594]
  多視点ビデオから3Dシーンの幾何学、外観、基礎となる物理をモデル化することを目的としている。 本稿では,複雑な動的3次元シーンの物理を学ぶために,物体の先行を必要とせずにFreeGaveを提案する。
  論文  参考訳（メタデータ） (2025-06-09T15:31:25Z)
• PhysGaia: A Physics-Aware Dataset of Multi-Body Interactions for Dynamic Novel View Synthesis [62.283499219361595]
  PhysGaiaは動的ノベルビュー合成(DyNVS)のために設計された物理対応のデータセットである。 私たちのデータセットは、複数のオブジェクト間のリッチな相互作用を伴う複雑な動的シナリオを提供します。 PhysGaiaは、動的ビュー合成、物理に基づくシーン理解、および物理シミュレーションと統合されたディープラーニングモデルの研究を著しく前進させる。
  論文  参考訳（メタデータ） (2025-06-03T12:19:18Z)
• Efficient Physics Simulation for 3D Scenes via MLLM-Guided Gaussian Splatting [32.846428862045634]
  Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。 人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。 また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
  論文  参考訳（メタデータ） (2024-11-19T12:52:21Z)
• Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
  本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。 単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。 我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
  論文  参考訳（メタデータ） (2024-06-18T16:37:44Z)
• DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。