論文の概要: Learning a Particle Dynamics Model with Real-world Videos

• arxiv url: http://arxiv.org/abs/2605.23845v1
• Date: Fri, 22 May 2026 16:56:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.435373
• Title: Learning a Particle Dynamics Model with Real-world Videos
• Title（参考訳）: 実世界の映像による粒子動力学モデルの学習
• Authors: Chanho Kim, Suhas V. Sumukh, Li Fuxin,
• Abstract要約: 我々は、未ラベルの現実世界のビデオから直接、ニューラルオブジェクトのダイナミックスモデルをトレーニングするための新しいフレームワークを導入する。 このモデルはレンダリングの監督を通じてトレーニングされており、粒子レベルのラベル付き状態を必要とせずに実世界のビデオから学習することができる。 この研究を可能にするために,約500本の動画が多種多様な物体の相互作用を捉えた実世界のデータセットも提示した。
• 参考スコア（独自算出の注目度）: 3.8381345540147414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data-driven learning approaches for physics simulation, sometimes referred to as world models, have emerged as promising alternatives to traditional physics simulators due to their differentiable nature. Prior work has demonstrated impressive results in predicting the motions of rigid and non-rigid objects in complex scenes involving multiple interacting bodies. However, these models are typically trained in simulated environments because obtaining perfect state information such as complete scene point clouds and point correspondences over time is challenging in real-world settings. This reliance on synthetic data can limit their applicability when the sim-to-real gap is large. In this work, we aim to overcome these limitations by introducing a novel framework for training neural object dynamics models directly from unlabeled real-world videos. Specifically, we propose to learn a particle-based dynamics model compatible with a Gaussian splatting framework, which operates on dense particles derived from Gaussians (i.e., particles with scales and rotations) and predicts their position and rotation changes over time. The model is trained via rendering supervision, enabling learning from real-world videos without requiring particle-level labeled states. Our model operates directly on dense Gaussians without relying on heuristic subsampling anchor points. To enable this study, we also present a real-world dataset consisting of about 500 videos capturing diverse object interactions.
• Abstract（参考訳）: 物理シミュレーションのためのデータ駆動学習アプローチは、しばしば世界モデルと呼ばれ、従来の物理シミュレータの相違点から、将来性のある代替手段として現れてきた。 以前の研究では、複数の相互作用する物体を含む複雑な場面で、剛体および非剛体物体の運動を予測するという驚くべき結果が示されている。 しかしながら、これらのモデルはシミュレーション環境で訓練されるのが一般的である。なぜなら、実世界の環境では、完全なシーンポイント雲やポイント対応のような完全な状態情報を得るのは難しいからだ。 この合成データへの依存は、sim-to-realギャップが大きい場合に適用性を制限することができる。 本研究では,ラベルのない実世界のビデオから直接,ニューラルオブジェクトのダイナミックスモデルをトレーニングするための新しいフレームワークを導入することで,これらの制限を克服することを目指している。 具体的には,ガウス・スプレイティング・フレームワークに適合する粒子に基づく力学モデルを学習し,ガウス・スプレイティング・フレームワーク(ガウス・スプレイティング・フレームワーク)から得られる高密度粒子(すなわちスケールと回転を持つ粒子)を演算し,その位置と回転の変化を時間とともに予測する。 このモデルはレンダリングの監督を通じてトレーニングされており、粒子レベルのラベル付き状態を必要とせずに実世界のビデオから学習することができる。 我々のモデルは、ヒューリスティックなアンカー点のサブサンプリングに頼ることなく、密度の強いガウス上で直接動作する。 この研究を可能にするために,約500本の動画が多種多様な物体の相互作用を捉えた実世界のデータセットも提示した。

関連論文リスト

• Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling [51.40150411616207]
  実世界のマルチオブジェクトデータセットに拡張された自己教師型オブジェクト中心の世界モデルであるLatent Particle World Model (LPWM)を紹介する。 LPWMは、ビデオデータから直接キーポイント、バウンディングボックス、オブジェクトマスクを自律的に発見する。 私たちのアーキテクチャは、純粋にビデオからエンドツーエンドにトレーニングされ、アクション、言語、イメージ目標に対するフレキシブルな条件付けをサポートします。
  論文  参考訳（メタデータ） (2026-03-04T19:36:08Z)
• Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
  我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。 実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。 次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
  論文  参考訳（メタデータ） (2026-01-24T07:43:57Z)
• Goal Force: Teaching Video Models To Accomplish Physics-Conditioned Goals [15.286299359279509]
  Goal Forceを使えば、明示的な力ベクトルと中間ダイナミクスを使って目標を定義することができる。 我々は、合成因果プリミティブのキュレートされたデータセットに基づいて、ビデオ生成モデルを訓練する。 以上の結果から,映像生成を基礎的な物理相互作用で基礎づけることで,暗黙的な神経物理シミュレータとしてモデルが現れる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-01-09T15:23:36Z)
• What Happens Next? Anticipating Future Motion by Generating Point Trajectories [76.16266402727643]
  一つの画像から動きを予測し、世界の物体がどのように動くかを予測する問題を考察する。 我々はこのタスクを,現代のビデオジェネレータのアーキテクチャを忠実に追従するモデルを用いて,高密度トラジェクトリグリッドの条件生成として定式化する。 このアプローチはシーン全体のダイナミクスと不確実性を捉え、以前の回帰器やジェネレータよりも正確で多様な予測をもたらす。
  論文  参考訳（メタデータ） (2025-09-25T21:03:56Z)
• Particle-Grid Neural Dynamics for Learning Deformable Object Models from RGB-D Videos [28.473117601626956]
  我々は,物体粒子と空間格子をハイブリッド表現で結合したニューラル・ダイナミクス・フレームワークを開発した。 我々は,ロボットと物体の相互作用の疎視的RGB-D記録から,多様な物体のダイナミックスを学習できることを実証した。 提案手法は,特にカメラビューに制限のあるシナリオにおいて,最先端の学習ベースシミュレータや物理ベースのシミュレータよりも優れている。
  論文  参考訳（メタデータ） (2025-06-18T17:59:38Z)
• Learning 3D-Gaussian Simulators from RGB Videos [20.250137125726265]
  3DGSimは学習した3Dシミュレータで、マルチビューのRGBビデオから物理的相互作用を学習する。 3Dシーンの再構成、粒子動力学予測、ビデオ合成をエンドツーエンドのトレーニングフレームワークに統合する。
  論文  参考訳（メタデータ） (2025-03-31T12:33:59Z)
• GausSim: Foreseeing Reality by Gaussian Simulator for Elastic Objects [55.02281855589641]
  GausSimは、ガウスカーネルを通して表現される現実の弾性物体の動的挙動をキャプチャするために設計された、ニューラルネットワークベースの新しいシミュレータである。 我々は連続体力学を活用し、各カーネルを連続体を表すCenter of Mass System (CMS)として扱う。 さらに、ガウスシムは質量や運動量保存のような明示的な物理制約を取り入れ、解釈可能な結果と堅牢で物理的に妥当なシミュレーションを確実にする。
  論文  参考訳（メタデータ） (2024-12-23T18:58:17Z)
• Towards Complex Dynamic Physics System Simulation with Graph Neural ODEs [75.7104463046767]
  本稿では,粒子系の空間的および時間的依存性を特徴付ける新しい学習ベースシミュレーションモデルを提案する。 我々は,GNSTODEのシミュレーション性能を,重力とクーロンの2つの実世界の粒子系上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-05-21T03:51:03Z)
• Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
  我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。 本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。 合成および実世界のデータセットの集合に対して生成的性能改善を示す。
  論文  参考訳（メタデータ） (2021-02-25T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。