Fugu-MT 論文翻訳(概要): Compositional 4D Dynamic Scenes Understanding with Physics Priors for Video Question Answering

論文の概要: Compositional 4D Dynamic Scenes Understanding with Physics Priors for Video Question Answering

arxiv url: http://arxiv.org/abs/2406.00622v1
Date: Sun, 2 Jun 2024 05:51:15 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 04:06:07.004852
Title: Compositional 4D Dynamic Scenes Understanding with Physics Priors for Video Question Answering
Title（参考訳）: ビデオ質問応答における物理優先事項による構成的4次元動的シーンの理解
Authors: Xingrui Wang, Wufei Ma, Angtian Wang, Shuo Chen, Adam Kortylewski, Alan Yuille,
Abstract要約: 視覚言語モデル(VLM)では、映像からオブジェクトとその相互作用の動的特性を理解することが効果的な推論に不可欠である。本稿では,オブジェクトの動的特性に着目したビデオ質問応答データセットSuperCLEVR-Physicsを紹介する。ビデオからのシーン表現に基づく4次元ダイナミクス特性の推論のためのニューラル・シンボリックモデルNS-4Dynamicsを提案する。
参考スコア（独自算出の注目度）: 23.04702935216809
License: http://creativecommons.org/licenses/by/4.0/
Abstract: For vision-language models (VLMs), understanding the dynamic properties of objects and their interactions within 3D scenes from video is crucial for effective reasoning. In this work, we introduce a video question answering dataset SuperCLEVR-Physics that focuses on the dynamics properties of objects. We concentrate on physical concepts -- velocity, acceleration, and collisions within 4D scenes, where the model needs to fully understand these dynamics properties and answer the questions built on top of them. From the evaluation of a variety of current VLMs, we find that these models struggle with understanding these dynamic properties due to the lack of explicit knowledge about the spatial structure in 3D and world dynamics in time variants. To demonstrate the importance of an explicit 4D dynamics representation of the scenes in understanding world dynamics, we further propose NS-4Dynamics, a Neural-Symbolic model for reasoning on 4D Dynamics properties under explicit scene representation from videos. Using scene rendering likelihood combining physical prior distribution, the 4D scene parser can estimate the dynamics properties of objects over time to and interpret the observation into 4D scene representation as world states. By further incorporating neural-symbolic reasoning, our approach enables advanced applications in future prediction, factual reasoning, and counterfactual reasoning. Our experiments show that our NS-4Dynamics suppresses previous VLMs in understanding the dynamics properties and answering questions about factual queries, future prediction, and counterfactual reasoning. Moreover, based on the explicit 4D scene representation, our model is effective in reconstructing the 4D scenes and re-simulate the future or counterfactual events.
Abstract（参考訳）: 視覚言語モデル(VLM)では、映像からオブジェクトとその相互作用の動的特性を理解することが効果的な推論に不可欠である。本稿では,オブジェクトの動的特性に着目したビデオ質問応答データセットSuperCLEVR-Physicsを紹介する。私たちは、4Dシーン内の速度、加速度、衝突といった物理的な概念に集中しています。そこではモデルがこれらのダイナミクス特性を完全に理解し、その上に構築された質問に答える必要があります。現状の様々なVLMの評価から,これらのモデルでは時間変化の空間構造や世界力学の空間構造に関する明示的な知識が欠如していることから,これらの動的特性の理解に苦慮していることが分かる。さらに,映像からのシーン表現の下での4次元ダイナミクス特性の推論のためのニューラル・シンボリックモデルNS-4Dynamicsを提案する。 4Dシーンパーサは、物理的事前分布を組み合わせたシーンレンダリングの可能性を利用して、時間とともに物体の動的特性を推定し、4Dシーン表現を世界状態として解釈する。ニューラルシンボリック推論をさらに取り入れることで、将来の予測、事実推論、反ファクト推論に先進的な応用が可能になる。実験の結果, NS-4Dynamicsは, 過去のVLMを抑圧し, 動的特性を理解し, 現実的クエリ, 将来の予測, 反実的推論に関する質問に答えることを示した。さらに、明示的な4Dシーン表現に基づいて、4Dシーンを再構成し、未来や反現実的な出来事を再現するのに有効である。

関連論文リスト

EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文参考訳（メタデータ） (2024-06-28T10:39:36Z)
PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文参考訳（メタデータ） (2024-04-19T17:41:05Z)
3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
論文参考訳（メタデータ） (2023-04-22T19:28:49Z)
Learning Multi-Object Dynamics with Compositional Neural Radiance Fields [63.424469458529906]
本稿では,暗黙的オブジェクトエンコーダ,ニューラルレージアンスフィールド(NeRF),グラフニューラルネットワークに基づく画像観測から構成予測モデルを学習する手法を提案する。 NeRFは3D以前の強みから、シーンを表現するための一般的な選択肢となっている。提案手法では,学習した潜時空間にRTを応用し,そのモデルと暗黙のオブジェクトエンコーダを用いて潜時空間を情報的かつ効率的にサンプリングする。
論文参考訳（メタデータ） (2022-02-24T01:31:29Z)
Class-agnostic Reconstruction of Dynamic Objects from Videos [127.41336060616214]
動的オブジェクトをRGBDや校正ビデオから再構成するためのクラスに依存しないフレームワークであるREDOを紹介する。我々は2つの新しいモジュールを開発し、まず、時間的視覚的手がかりを集約したピクセル整合性を持つ正準4次元暗黙関数を導入する。第2に、時間的伝播と集約をサポートするためにオブジェクトのダイナミクスをキャプチャする4D変換モジュールを開発する。
論文参考訳（メタデータ） (2021-12-03T18:57:47Z)
3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文参考訳（メタデータ） (2021-07-08T17:49:37Z)
Learning 3D Dynamic Scene Representations for Robot Manipulation [21.6131570689398]
ロボット操作のための3Dシーン表現は、永続性、完全性、連続性という3つの重要なオブジェクト特性を捉えなければならない。本研究では3次元動的表現(DSR)を導入し,オブジェクトを同時に検出,追跡,再構成し,そのダイナミクスを予測する。本稿では,DSRを段階的に構築・洗練するために,複数の相互作用を通して視覚的観察を集約することを学ぶDSR-Netを提案する。
論文参考訳（メタデータ） (2020-11-03T19:23:06Z)
Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文参考訳（メタデータ） (2020-08-02T11:04:49Z)
3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans [27.747241700017728]
動作可能な空間知覚のための統一表現として,3次元ダイナミックシーングラフを提案する。 3D Dynamic Scene Graphsは、計画と意思決定、人間とロボットのインタラクション、長期的な自律性、シーン予測に大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2020-02-15T00:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。