論文の概要: Visual Grounding of Learned Physical Models
- arxiv url: http://arxiv.org/abs/2004.13664v2
- Date: Mon, 29 Jun 2020 15:13:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 21:57:55.248664
- Title: Visual Grounding of Learned Physical Models
- Title(参考訳): 学習した物理モデルの視覚的接地
- Authors: Yunzhu Li, Toru Lin, Kexin Yi, Daniel M. Bear, Daniel L. K. Yamins,
Jiajun Wu, Joshua B. Tenenbaum, Antonio Torralba
- Abstract要約: 人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
- 参考スコア(独自算出の注目度): 66.04898704928517
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans intuitively recognize objects' physical properties and predict their
motion, even when the objects are engaged in complicated interactions. The
abilities to perform physical reasoning and to adapt to new environments, while
intrinsic to humans, remain challenging to state-of-the-art computational
models. In this work, we present a neural model that simultaneously reasons
about physics and makes future predictions based on visual and dynamics priors.
The visual prior predicts a particle-based representation of the system from
visual observations. An inference module operates on those particles,
predicting and refining estimates of particle locations, object states, and
physical parameters, subject to the constraints imposed by the dynamics prior,
which we refer to as visual grounding. We demonstrate the effectiveness of our
method in environments involving rigid objects, deformable materials, and
fluids. Experiments show that our model can infer the physical properties
within a few observations, which allows the model to quickly adapt to unseen
scenarios and make accurate predictions into the future.
- Abstract(参考訳): 人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
物理的推論を実行し、新しい環境に適応する能力は人間に固有のものだが、最先端の計算モデルには挑戦的だ。
そこで本研究では,物理の理屈と,視覚とダイナミクスに基づく将来の予測を同時に行うニューラルモデルを提案する。
視覚的先行は、視覚的観察から粒子に基づくシステムの表現を予測する。
推論モジュールは、これらの粒子上で動作し、粒子の位置、物体の状態、物理パラメータの推定を予測し、精算する。
固形物, 変形性材料, 流体を含む環境における本手法の有効性を実証する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
関連論文リスト
- ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [90.97595947781426]
ContPhyは、マシン物理常識を評価するための新しいベンチマークである。
私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。
また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
論文 参考訳(メタデータ) (2024-02-09T01:09:21Z) - Physion++: Evaluating Physical Scene Understanding that Requires Online
Inference of Different Physical Properties [100.19685489335828]
この研究は、人工システムにおける視覚的身体的予測を厳格に評価する新しいデータセットとベンチマークであるPhysylon++を提案する。
正確な予測が質量、摩擦、弾性、変形性などの特性の推定に依存するシナリオをテストする。
我々は,様々なレベルの学習と組込み知識にまたがる最先端予測モデルの性能を評価し,その性能を人間の予測と比較した。
論文 参考訳(メタデータ) (2023-06-27T17:59:33Z) - Neural Foundations of Mental Simulation: Future Prediction of Latent
Representations on Dynamic Scenes [3.2744507958793143]
我々は、目標駆動型モデリングアプローチと高密度神経生理学的データと人間の行動的読み出しを組み合わせることで、この問題を阻害する。
具体的には,豊かで倫理的に関連のある環境の将来の状態を予測するために,知覚認知ネットワークのいくつかのクラスを構築し,評価する。
これらのモデルクラス間での強い差別化は、さまざまな環境内と環境内の両方で、神経的および行動的データを予測できる能力である。
論文 参考訳(メタデータ) (2023-05-19T15:56:06Z) - Intrinsic Physical Concepts Discovery with Object-Centric Predictive
Models [86.25460882547581]
PHYsical Concepts Inference NEtwork (PHYCINE) は、異なる抽象レベルの物理概念を監督なしで推論するシステムである。
物理概念変数を含むオブジェクト表現は因果推論タスクの性能向上に有効であることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:52:21Z) - ComPhy: Compositional Physical Reasoning of Objects and Events from
Videos [113.2646904729092]
目に見える性質と隠れた性質の間の構成性は、物理的な世界から推論するAIモデルに固有の課題をもたらす。
ビデオ推論に関する既存の研究は、主に物体の外観、動き、接触相互作用などの視覚的に観察可能な要素に焦点を当てている。
本稿では,視覚知覚,物理特性学習,動的予測,記号実行を組み合わせた,構成物理学学習(CPL)と呼ばれるオラクルニューラルシンボリックフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-02T17:59:13Z) - Physion: Evaluating Physical Prediction from Vision in Humans and
Machines [46.19008633309041]
我々は、この能力を正確に測定する視覚的および身体的予測ベンチマークを示す。
我々は、様々な物理予測を行う能力について、アルゴリズムの配列を比較した。
物理的な状態にアクセス可能なグラフニューラルネットワークは、人間の振る舞いを最もよく捉えている。
論文 参考訳(メタデータ) (2021-06-15T16:13:39Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳(メタデータ) (2020-04-30T19:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。