論文の概要: Learning Physical Dynamics for Object-centric Visual Prediction

• arxiv url: http://arxiv.org/abs/2403.10079v1
• Date: Fri, 15 Mar 2024 07:45:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 18:09:44.024994
• Title: Learning Physical Dynamics for Object-centric Visual Prediction
• Title（参考訳）: 物体中心の視覚予測のための物理ダイナミクスの学習
• Authors: Huilin Xu, Tao Chen, Feng Xu,
• Abstract要約: 視覚シーンの基盤となるダイナミクスをモデル化し、未来についての理屈をモデル化する能力は、人間の知性の中心である。 本稿では,オブジェクト間の視覚的ダイナミクスを学習することにより,将来予測を行う,教師なしオブジェクト中心予測モデルを提案する。
• 参考スコア（独自算出の注目度）: 7.395357888610685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The ability to model the underlying dynamics of visual scenes and reason about the future is central to human intelligence. Many attempts have been made to empower intelligent systems with such physical understanding and prediction abilities. However, most existing methods focus on pixel-to-pixel prediction, which suffers from heavy computational costs while lacking a deep understanding of the physical dynamics behind videos. Recently, object-centric prediction methods have emerged and attracted increasing interest. Inspired by it, this paper proposes an unsupervised object-centric prediction model that makes future predictions by learning visual dynamics between objects. Our model consists of two modules, perceptual, and dynamic module. The perceptual module is utilized to decompose images into several objects and synthesize images with a set of object-centric representations. The dynamic module fuses contextual information, takes environment-object and object-object interaction into account, and predicts the future trajectory of objects. Extensive experiments are conducted to validate the effectiveness of the proposed method. Both quantitative and qualitative experimental results demonstrate that our model generates higher visual quality and more physically reliable predictions compared to the state-of-the-art methods.
• Abstract（参考訳）: 視覚シーンの基盤となるダイナミクスをモデル化し、未来についての理屈をモデル化する能力は、人間の知性の中心である。 このような物理的理解と予測能力を持つインテリジェントシステムを強化するために、多くの試みがなされている。 しかし、既存のほとんどの手法は、ビデオの背後にある物理力学の深い理解を欠きながら、計算コストの重いピクセル間予測に重点を置いている。 近年,オブジェクト中心の予測手法が登場し,関心が高まっている。 そこで本研究では,オブジェクト間の視覚的ダイナミクスを学習することによって,将来予測を行う,教師なしオブジェクト中心予測モデルを提案する。 私たちのモデルは、知覚モジュールと動的モジュールの2つのモジュールで構成されています。 知覚モジュールは、画像を複数のオブジェクトに分解し、オブジェクト中心の表現セットで画像を合成するために使用される。 動的モジュールはコンテキスト情報を融合し、環境オブジェクトとオブジェクトオブジェクトの相互作用を考慮に入れ、将来のオブジェクトの軌跡を予測する。 提案手法の有効性を検証するため, 広範囲な実験を行った。 定量的および定性的な実験の結果から,我々のモデルは最先端の手法と比較して,高い視覚的品質とより物理的に信頼性の高い予測を生成することが示された。

関連論文リスト

• RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing [38.97168020979433]
  本稿では, 視覚と触覚を組み合わせ, 触覚インフォームド・ダイナミックスモデルを学習することでロボット操作を実現するアプローチを提案する。 提案するフレームワークであるRoboPackは、オブジェクト状態を推定するために、リカレントグラフニューラルネットワークを使用している。 我々は,非包括的操作と密包装作業に対するソフトバブル触覚センサを備えた実ロボットへのアプローチを実証する。
  論文  参考訳（メタデータ） (2024-07-01T16:08:37Z)
• Unsupervised Dynamics Prediction with Object-Centric Kinematics [22.119612406160073]
  本稿では,オブジェクト中心表現を利用した動的予測フレームワークであるOcK(Object-Centric Kinematics)を提案する。 OCKは、物体の位置、速度、加速度の低レベルな構造化状態で構成されている。 本モデルは,多種多様なオブジェクト属性と動的動きを特徴とする複雑なシーンにおけるオブジェクトと背景の扱いにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-29T04:47:23Z)
• ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
  ContPhyは、マシン物理常識を評価するための新しいベンチマークである。 私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。 また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
  論文  参考訳（メタデータ） (2024-02-09T01:09:21Z)
• Neural Foundations of Mental Simulation: Future Prediction of Latent Representations on Dynamic Scenes [3.2744507958793143]
  我々は、目標駆動型モデリングアプローチと高密度神経生理学的データと人間の行動的読み出しを組み合わせることで、この問題を阻害する。 具体的には,豊かで倫理的に関連のある環境の将来の状態を予測するために,知覚認知ネットワークのいくつかのクラスを構築し,評価する。 これらのモデルクラス間での強い差別化は、さまざまな環境内と環境内の両方で、神経的および行動的データを予測できる能力である。
  論文  参考訳（メタデータ） (2023-05-19T15:56:06Z)
• Learn to Predict How Humans Manipulate Large-sized Objects from Interactive Motions [82.90906153293585]
  本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。 動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
  論文  参考訳（メタデータ） (2022-06-25T09:55:39Z)
• Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
  視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。 これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
  論文  参考訳（メタデータ） (2021-10-28T17:59:13Z)
• Towards an Interpretable Latent Space in Structured Models for Video Prediction [30.080907495461876]
  基礎となる物理力学が支配するビデオにおける将来のフレーム予測の課題に焦点をあてる。 我々は、オブジェクト中心のモデル、すなわち、オブジェクト表現を明示的に扱うモデルで作業し、潜在空間における損失を伝播する。
  論文  参考訳（メタデータ） (2021-07-16T05:37:16Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)
• Visual Grounding of Learned Physical Models [66.04898704928517]
  人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。 我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。 実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-04-28T17:06:38Z)
• Learning Predictive Representations for Deformable Objects Using Contrastive Estimation [83.16948429592621]
  視覚表現モデルと動的モデルの両方を協調的に最適化する新しい学習フレームワークを提案する。 我々は,標準モデルに基づく学習手法をロープや布の操作スイートで大幅に改善した。
  論文  参考訳（メタデータ） (2020-03-11T17:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。