論文の概要: Understanding Physical Dynamics with Counterfactual World Modeling
- arxiv url: http://arxiv.org/abs/2312.06721v3
- Date: Mon, 22 Jul 2024 07:51:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 05:07:10.793437
- Title: Understanding Physical Dynamics with Counterfactual World Modeling
- Title(参考訳): 対実世界モデリングによる物理力学の理解
- Authors: Rahul Venkatesh, Honglin Chen, Kevin Feigelis, Daniel M. Bear, Khaled Jedoui, Klemen Kotar, Felix Binder, Wanhee Lee, Sherry Liu, Kevin A. Smith, Judith E. Fan, Daniel L. K. Yamins,
- Abstract要約: 我々は、動的理解のための視覚構造抽出にCWM(Counterfactual World Modeling)を用いる。
CWMは、アノテーションなしでビデオデータのマスキング予測に時間分解マスキングポリシーを使用する。
これらの構造は物理力学の理解に有用であることを示し、CWMがPhilonベンチマークの最先端性能を達成できることを示した。
- 参考スコア(独自算出の注目度): 10.453874628135294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability to understand physical dynamics is critical for agents to act in the world. Here, we use Counterfactual World Modeling (CWM) to extract vision structures for dynamics understanding. CWM uses a temporally-factored masking policy for masked prediction of video data without annotations. This policy enables highly effective "counterfactual prompting" of the predictor, allowing a spectrum of visual structures to be extracted from a single pre-trained predictor without finetuning on annotated datasets. We demonstrate that these structures are useful for physical dynamics understanding, allowing CWM to achieve the state-of-the-art performance on the Physion benchmark.
- Abstract(参考訳): 物理力学を理解する能力は、エージェントが世界で行動するために重要である。
ここでは、動的理解のための視覚構造を抽出するために、CWM(Counterfactual World Modeling)を用いる。
CWMは、アノテーションなしでビデオデータのマスキング予測に時間分解マスキングポリシーを使用する。
このポリシーにより、アノテートされたデータセットを微調整することなく、単一の事前訓練された予測器から視覚構造のスペクトルを抽出することができる。
これらの構造は物理力学の理解に有用であることを示し、CWMがPhilonベンチマークの最先端性能を達成できることを示した。
関連論文リスト
- Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - Finding emergence in data by maximizing effective information [2.1714094454496013]
創発的な現象を特定し、利用可能なデータを使用してマクロレベルで創発的なダイナミクスをキャプチャするフレームワークを開発することが重要です。
本稿では,因果発生理論(CE)にヒントを得て,創発的潜在空間におけるマクロ力学を学習するための機械学習フレームワークを提案する。
シミュレーションおよび実データによる実験結果から,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-08-19T09:12:47Z) - Unifying (Machine) Vision via Counterfactual World Modeling [5.001446411351483]
本稿では,視覚基盤モデルを構築するためのフレームワークであるCWMを紹介する。
CWMには2つの重要なコンポーネントがあり、ファンデーションモデルの概念をビジョンに適用することを妨げる中核的な問題を解決している。
我々は,CWMが様々なタスクのために,現実世界の画像やビデオに対して高品質な読み出しを生成することを示す。
論文 参考訳(メタデータ) (2023-06-02T17:45:44Z) - EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph
Learning [114.72818205974285]
本稿では,3つのモジュールから構成される使い勝手の良いパイプライン(EasyDGL)を設計することを目的とする。
EasyDGLは、進化するグラフデータからモデルが学習する周波数コンテンツの予測力を効果的に定量化することができる。
論文 参考訳(メタデータ) (2023-03-22T06:35:08Z) - Predictive Experience Replay for Continual Visual Control and
Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。
まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。
我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文 参考訳(メタデータ) (2023-03-12T05:08:03Z) - Neural Extended Kalman Filters for Learning and Predicting Dynamics of
Structural Systems [5.252966797394752]
複雑な物理系の潜在進化力学を学習するための学習可能な拡張カルマンフィルタ(EKF)を提案する。
ニューラルEKFは従来のEKFの一般化版であり、プロセスダイナミクスと感覚観測のモデリングをニューラルネットワークでパラメータ化することができる。
ニューラルEKFが課す構造は学習プロセスに有益であることを示す。
論文 参考訳(メタデータ) (2022-10-09T04:39:15Z) - Physics-Inspired Temporal Learning of Quadrotor Dynamics for Accurate
Model Predictive Trajectory Tracking [76.27433308688592]
クオーロタのシステムダイナミクスを正確にモデル化することは、アジャイル、安全、安定したナビゲーションを保証する上で非常に重要です。
本稿では,ロボットの経験から,四重項系の力学を純粋に学習するための新しい物理インスパイアされた時間畳み込みネットワーク(PI-TCN)を提案する。
提案手法は,スパース時間的畳み込みと高密度フィードフォワード接続の表現力を組み合わせて,正確なシステム予測を行う。
論文 参考訳(メタデータ) (2022-06-07T13:51:35Z) - Meta-learning using privileged information for dynamics [66.32254395574994]
Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。
シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
論文 参考訳(メタデータ) (2021-04-29T12:18:02Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Deep learning of contagion dynamics on complex networks [0.0]
本稿では,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングに基づく補完的アプローチを提案する。
任意のネットワーク構造をシミュレーションすることで,学習したダイナミックスの性質を学習データを超えて探索することが可能になる。
この結果は,ネットワーク上での感染動態の効果的なモデルを構築するために,ディープラーニングが新たな補完的な視点を提供することを示す。
論文 参考訳(メタデータ) (2020-06-09T17:18:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。