論文の概要: Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video

• arxiv url: http://arxiv.org/abs/2406.12769v1
• Date: Tue, 18 Jun 2024 16:37:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 17:59:05.035121
• Title: Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video
• Title（参考訳）: 隠れた物理学を3Dビデオから学べる「潜在直観物理学」
• Authors: Xiangming Zhu, Huayu Deng, Haochen Yuan, Yunbo Wang, Xiaokang Yang,
• Abstract要約: 本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。 単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。 我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
• 参考スコア（独自算出の注目度）: 58.043569985784806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce latent intuitive physics, a transfer learning framework for physics simulation that can infer hidden properties of fluids from a single 3D video and simulate the observed fluid in novel scenes. Our key insight is to use latent features drawn from a learnable prior distribution conditioned on the underlying particle states to capture the invisible and complex physical properties. To achieve this, we train a parametrized prior learner given visual observations to approximate the visual posterior of inverse graphics, and both the particle states and the visual posterior are obtained from a learned neural renderer. The converged prior learner is embedded in our probabilistic physics engine, allowing us to perform novel simulations on unseen geometries, boundaries, and dynamics without knowledge of the true physical parameters. We validate our model in three ways: (i) novel scene simulation with the learned visual-world physics, (ii) future prediction of the observed fluid dynamics, and (iii) supervised particle simulation. Our model demonstrates strong performance in all three tasks.
• Abstract（参考訳）: 一つの3次元映像から流体の隠れた性質を推測し,新しい場面で観察された流体をシミュレートする物理シミュレーションのための伝達学習フレームワークである潜在直感物理学を紹介する。 我々の重要な洞察は、基礎となる粒子状態に条件付けられた学習可能な事前分布から引き出された潜在的特徴を使って、目に見えない複雑な物理的特性を捉えることである。 これを実現するために、逆グラフの視覚的後部を近似するために視覚的観察を与えられたパラメータ化された事前学習者を訓練し、学習したニューラルレンダから粒子状態と視覚的後部の両方を得る。 収束した事前学習者は確率論的物理エンジンに埋め込まれており、真の物理パラメータを知らずに、未知の測地、境界、ダイナミックスに関する新しいシミュレーションを行うことができる。 私たちはモデルを3つの方法で検証します。 (i)学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション (II)観測された流体力学の将来予測、及び (iii) 粒子シミュレーションを監督する。 私たちのモデルは3つのタスクすべてで強いパフォーマンスを示します。

関連論文リスト

• DEL: Discrete Element Learner for Learning 3D Particle Dynamics with Neural Rendering [10.456618054473177]
  逆レンダリングにより2次元画像から3次元ダイナミクスを学習する方法を示す。 学習可能なグラフカーネルを古典的な離散要素分析フレームワークに組み込む。 本手法は, 部分的な2次元観察から, 各種材料の力学を効果的に学習することができる。
  論文  参考訳（メタデータ） (2024-10-11T16:57:02Z)
• Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
  ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。 本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。 弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-06-06T17:59:47Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)
• Learning Vortex Dynamics for Fluid Inference and Prediction [25.969713036393895]
  本研究では, 可変渦粒子を用いた新しい機械学習手法を提案し, 一つのビデオから流体力学を推論し, 予測する。 そこで我々は, 学習可能な渦対速度のダイナミックスマッピングと組み合わせて, 複雑な流れの特徴を効果的に捉え, 表現するために, 新たな微分可能渦粒子系を考案した。
  論文  参考訳（メタデータ） (2023-01-27T02:10:05Z)
• NeuroFluid: Fluid Dynamics Grounding with Particle-Driven Neural Radiance Fields [65.07940731309856]
  深層学習は流体のような複雑な粒子系の物理力学をモデル化する大きな可能性を示している。 本稿では,流体力学グラウンドリング(fluid dynamics grounding)として知られる,部分的に観測可能なシナリオについて考察する。 我々はNeuroFluidという2段階の異なるネットワークを提案する。 初期形状、粘度、密度が異なる流体の基礎物理学を合理的に推定することが示されている。
  論文  参考訳（メタデータ） (2022-03-03T15:13:29Z)
• Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
  視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。 これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
  論文  参考訳（メタデータ） (2021-10-28T17:59:13Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)
• Visual Grounding of Learned Physical Models [66.04898704928517]
  人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。 我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。 実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-04-28T17:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。