論文の概要: Causal Discovery in Physical Systems from Videos
- arxiv url: http://arxiv.org/abs/2007.00631v3
- Date: Sun, 29 Nov 2020 20:47:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 21:52:28.658351
- Title: Causal Discovery in Physical Systems from Videos
- Title(参考訳): 映像からの物理系の因果発見
- Authors: Yunzhu Li, Antonio Torralba, Animashree Anandkumar, Dieter Fox,
Animesh Garg
- Abstract要約: 因果発見は人間の認知の中心にある。
本研究では,ビデオの因果発見の課題を,地層構造を監督せずにエンドツーエンドで検討する。
- 参考スコア(独自算出の注目度): 123.79211190669821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Causal discovery is at the core of human cognition. It enables us to reason
about the environment and make counterfactual predictions about unseen
scenarios that can vastly differ from our previous experiences. We consider the
task of causal discovery from videos in an end-to-end fashion without
supervision on the ground-truth graph structure. In particular, our goal is to
discover the structural dependencies among environmental and object variables:
inferring the type and strength of interactions that have a causal effect on
the behavior of the dynamical system. Our model consists of (a) a perception
module that extracts a semantically meaningful and temporally consistent
keypoint representation from images, (b) an inference module for determining
the graph distribution induced by the detected keypoints, and (c) a dynamics
module that can predict the future by conditioning on the inferred graph. We
assume access to different configurations and environmental conditions, i.e.,
data from unknown interventions on the underlying system; thus, we can hope to
discover the correct underlying causal graph without explicit interventions. We
evaluate our method in a planar multi-body interaction environment and
scenarios involving fabrics of different shapes like shirts and pants.
Experiments demonstrate that our model can correctly identify the interactions
from a short sequence of images and make long-term future predictions. The
causal structure assumed by the model also allows it to make counterfactual
predictions and extrapolate to systems of unseen interaction graphs or graphs
of various sizes.
- Abstract(参考訳): 因果発見は人間の認知の核心にある。
これにより、環境を判断し、これまでの経験と大きく異なる、目に見えないシナリオに関する反現実的な予測を行うことができます。
本研究では,ビデオの因果発見の課題を,地層構造を監督せずにエンドツーエンドで検討する。
特に, 動的システムの挙動に因果的影響を与える相互作用のタイプと強度を推定することで, 環境変数とオブジェクト変数間の構造的依存関係を発見することが目的である。
私たちのモデルは
(a)画像から意味的に有意義で時間的に一貫したキーポイント表現を抽出する知覚モジュール
(b)検出されたキーポイントによって引き起こされるグラフ分布を決定する推論モジュール、
(c)推定グラフの条件付けにより未来を予測することのできる動力学モジュール。
異なる構成や環境条件、すなわち基盤となるシステム上の未知の介入からのデータへのアクセスを想定し、明示的な介入なしに正確な因果グラフを発見できることを期待する。
提案手法を,シャツやパンツなどの異なる形状の布地を含む平面多体インタラクション環境とシナリオで評価した。
実験により,短時間の画像列からのインタラクションを正しく識別し,長期予測できることが実証された。
モデルが仮定した因果構造は、反事実的な予測や、見当たらない相互作用グラフや様々な大きさのグラフのシステムへの外挿を可能にする。
関連論文リスト
- Graph ODE with Factorized Prototypes for Modeling Complicated
Interacting Dynamics [37.53887977578548]
本稿では,その問題に対処する因子化プロトタイプ(GOAT)を用いたグラフODE(Graph ODE)を提案する。
GOATはコンテキスト知識から分解されたプロトタイプを連続グラフODEフレームワークに組み込んでいる。
モデル全体は、その可能性の最大化のために、エンドツーエンドの変分推論フレームワークを使用して最適化される。
論文 参考訳(メタデータ) (2023-11-11T12:04:47Z) - Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
得られた知識を有向非巡回因果グラフの形で公開することを提案する。
また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。
提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
論文 参考訳(メタデータ) (2023-09-30T20:59:42Z) - On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。
これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。
この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文 参考訳(メタデータ) (2023-06-07T21:35:26Z) - DOMINO: Visual Causal Reasoning with Time-Dependent Phenomena [59.291745595756346]
本研究では,時間遅延のウィンドウに関連する因果関係の発見に人間が参加できる視覚分析手法を提案する。
具体的には、論理に基づく因果関係の確立した手法を活用し、分析者が潜在的な原因の重要性を検証できるようにする。
効果は他の効果の原因となりうるので,本手法で検出した時間的要因と効果の関係を視覚フロー図にまとめることができる。
論文 参考訳(メタデータ) (2023-03-12T03:40:21Z) - Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。
我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。
ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T07:49:48Z) - Learning Interacting Dynamical Systems with Latent Gaussian Process ODEs [13.436770170612295]
本研究では,対話対象の連続時間力学の不確実性を考慮したモデリングを初めて行った。
我々のモデルは、独立力学と信頼性のある不確実性推定との相互作用の両方を推測する。
論文 参考訳(メタデータ) (2022-05-24T08:36:25Z) - GINA: Neural Relational Inference From Independent Snapshots [0.0]
本稿では,遅延相互作用グラフを同時に学習するグラフニューラルネットワーク(GNN)を提案し,ノードの可観測状態の予測を行う。
GINAは、すべての潜在的なグラフの中で、基底真理相互作用グラフは、隣人の状態を考えると、最も高い精度でノードの状態を予測することができるという仮説に基づいている。
論文 参考訳(メタデータ) (2021-05-29T15:42:33Z) - To do or not to do: finding causal relations in smart homes [2.064612766965483]
本稿では,環境と観測データの混合実験から因果モデルを学ぶための新しい手法を提案する。
我々の手法の核心は、選択された介入の使用であり、特に、介入が不可能な変数を考慮に入れた学習である。
本手法をスマートホームシミュレーション,すなわち因果関係を知ることが説明可能なシステムへの道を開くユースケースに応用する。
論文 参考訳(メタデータ) (2021-05-20T22:36:04Z) - Visual Grounding of Learned Physical Models [66.04898704928517]
人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
論文 参考訳(メタデータ) (2020-04-28T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。