論文の概要: FreeGave: 3D Physics Learning from Dynamic Videos by Gaussian Velocity

• arxiv url: http://arxiv.org/abs/2506.07865v1
• Date: Mon, 09 Jun 2025 15:31:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.026433
• Title: FreeGave: 3D Physics Learning from Dynamic Videos by Gaussian Velocity
• Title（参考訳）: FreeGave: ガウス速度によるダイナミックビデオからの3D物理学習
• Authors: Jinxi Li, Ziyang Song, Siyuan Zhou, Bo Yang,
• Abstract要約: 多視点ビデオから3Dシーンの幾何学、外観、基礎となる物理をモデル化することを目的としている。 本稿では,複雑な動的3次元シーンの物理を学ぶために,物体の先行を必要とせずにFreeGaveを提案する。
• 参考スコア（独自算出の注目度）: 15.375932203870594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we aim to model 3D scene geometry, appearance, and the underlying physics purely from multi-view videos. By applying various governing PDEs as PINN losses or incorporating physics simulation into neural networks, existing works often fail to learn complex physical motions at boundaries or require object priors such as masks or types. In this paper, we propose FreeGave to learn the physics of complex dynamic 3D scenes without needing any object priors. The key to our approach is to introduce a physics code followed by a carefully designed divergence-free module for estimating a per-Gaussian velocity field, without relying on the inefficient PINN losses. Extensive experiments on three public datasets and a newly collected challenging real-world dataset demonstrate the superior performance of our method for future frame extrapolation and motion segmentation. Most notably, our investigation into the learned physics codes reveals that they truly learn meaningful 3D physical motion patterns in the absence of any human labels in training.
• Abstract（参考訳）: 本稿では,マルチビュー映像から3次元シーンの形状,外観,基礎となる物理をモデル化することを目的とする。 PINNの損失として様々なPDEを適用したり、ニューラルネットワークに物理シミュレーションを組み込んだりすることで、既存の研究は境界における複雑な物理運動の学習に失敗したり、マスクや型のような対象の先行を要求したりする。 本稿では,複雑な動的3次元シーンの物理を学ぶために,物体の先行を必要とせずにFreeGaveを提案する。 提案手法の鍵となるのは,非効率なPINN損失に頼らずに,ガウス速度場を推定するための,慎重に設計された分岐のないモジュールを導入することである。 3つの公開データセットと、新しく収集された挑戦的な実世界のデータセットに関する大規模な実験は、将来のフレーム外挿とモーションセグメンテーションにおいて、我々の手法の優れた性能を示す。 最も注目すべきは、学習された物理コードに関する調査によって、トレーニング中に人間のラベルがないことで、意味のある3D物理運動パターンを真に学習していることが判明したことです。

関連論文リスト

• Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
  本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。 単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。 我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
  論文  参考訳（メタデータ） (2024-06-18T16:37:44Z)
• DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。