論文の概要: EMMA: Extracting Multiple physical parameters from Multimodal Data

• arxiv url: http://arxiv.org/abs/2605.24047v1
• Date: Thu, 21 May 2026 21:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:17.557373
• Title: EMMA: Extracting Multiple physical parameters from Multimodal Data
• Title（参考訳）: EMMA:マルチモーダルデータから複数の物理パラメータを抽出する
• Authors: Farhat Shaikh, Ayan Banerjee, Sandeep Gupta,
• Abstract要約: 本稿では,物理インフォームド・マルチモーダル・フレームワークであるEMMAを紹介した。 EMMAは、統一された連続時間モデル内で、明示的パラメータ、暗黙的動的成分、キャリブレーション不変量の共同推論を行う。 本研究は,多モードデータから物理一貫性モデル抽出を行うための汎用的,スケーラブルなソリューションとしてEMMAを確立した。
• 参考スコア（独自算出の注目度）: 0.6345042809319409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce EMMA, a physics-informed multimodal framework that recovers all identifiable dynamical parameters of a system directly from raw video, audio, and image-based time-series observations. Unlike prior video-only approaches that struggle with occluded states, hidden actuation inputs, or assumptions about known initial conditions and coordinate frames, EMMA performs joint inference of explicit parameters, implicit dynamical components, and calibration invariants within a unified continuous-time model. EMMA leverages a Liquid Time-Constant (LTC) network to learn latent dynamics from heterogeneous modalities while a physics-constrained loss enforces consistency with the governing differential equations. A unified feature pipeline enables consistent alignment across video trajectories, acoustic signatures, and chart-derived measurements, allowing EMMA to estimate parameters under forced, implicit, and multivariate dynamics without requiring segmentation masks, differentiable rendering, or specialized sensors. Across 100+ scenarios including five standard dynamical benchmarks (75 Delfys videos), real-world rover and quadrotor systems with hidden inputs, and simulation-chart case studies spanning biological and chaotic systems, EMMA delivers robust multi-parameter recovery and significantly outperforms existing single-modality and equation-discovery baselines. Our results establish EMMA as a general, scalable solution for physics-consistent model extraction from opportunistic multimodal data. Code and data are available at: https://github.com/ImpactLabASU/EMMA-CVPR2026
• Abstract（参考訳）: EMMAは物理インフォームド・マルチモーダル・フレームワークで、生のビデオ、オーディオ、画像に基づく時系列観察から直接システムの全ての動的パラメータを復元する。 隠蔽状態、隠れアクチュエータ入力、既知の初期条件や座標フレームに関する仮定と異なり、EMMAは、統一された連続時間モデル内の明示的パラメータ、暗黙的な動的成分、キャリブレーション不変量の共同推論を行う。 EMMAはLTC(Liquid Time-Constant)ネットワークを利用して不均一なモードから潜時ダイナミクスを学習する一方、物理制約された損失は支配的な微分方程式との整合性を強制する。 統合された機能パイプラインは、ビデオトラジェクトリ、音響シグネチャ、チャートからの計測を一貫したアライメントを可能にし、EMMAは、セグメンテーションマスク、微分可能レンダリング、あるいは特殊なセンサーを必要とせずに、強制的、暗黙的、多変量ダイナミクスの下でパラメータを推定できる。 5つの標準的な動的ベンチマーク(75 Delfysのビデオ)、隠れ入力を持つ現実世界のローバーとクオーターシステム、生物学的およびカオスシステムにまたがるシミュレーションチャートケーススタディを含む100以上のシナリオにおいて、EMMAは堅牢なマルチパラメータリカバリを実現し、既存の単一モダリティと方程式発見ベースラインを大幅に上回っている。 本研究は,多モードデータから物理一貫性モデル抽出を行うための汎用的,スケーラブルなソリューションとしてEMMAを確立した。 コードとデータは、https://github.com/ImpactLabASU/EMMA-CVPR2026で公開されている。

関連論文リスト

• MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
  MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。 MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-03T07:32:24Z)
• Constitutive parameterized deep energy method for solid mechanics problems with random material parameters [0.24554686192257416]
  Constitutive aware Deep Energy Method (CPDEM) は純粋に物理駆動のフレームワークである。 従来の空間的コロケーションポイントをパラメータ対応材料に変換する。 未知の物質パラメータに対する変位場をゼロショットでリアルタイムに推定できる。
  論文  参考訳（メタデータ） (2026-03-27T02:59:32Z)
• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• PhysFlow: Unleashing the Potential of Multi-modal Foundation Models and Video Diffusion for 4D Dynamic Physical Scene Simulation [9.306758077479472]
  PhysFlowは、マルチモーダル基礎モデルとビデオ拡散を利用して、強化された4次元ダイナミックシーンシミュレーションを実現する新しいアプローチである。 この統合フレームワークは、現実世界のシナリオにおける動的相互作用の正確な予測と現実的なシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-11-21T18:55:23Z)
• Learning Physics From Video: Unsupervised Physical Parameter Estimation for Continuous Dynamical Systems [49.11170948406405]
  本研究では,単一のビデオから既知の連続制御方程式の物理パラメータを推定する教師なし手法を提案する。 Delfys75は5種類の動的システムのための75本のビデオからなる実世界のデータセットだ。
  論文  参考訳（メタデータ） (2024-10-02T09:44:54Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。