論文の概要: SPACE: A Simulator for Physical Interactions and Causal Learning in 3D
Environments
- arxiv url: http://arxiv.org/abs/2108.06180v1
- Date: Fri, 13 Aug 2021 11:49:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-16 13:15:06.913271
- Title: SPACE: A Simulator for Physical Interactions and Causal Learning in 3D
Environments
- Title(参考訳): SPACE : 3次元環境における物理的相互作用と因果学習のシミュレータ
- Authors: Jiafei Duan, Samson Yu Bai Jian, Cheston Tan
- Abstract要約: 本研究では,3次元環境における物理インタラクションと因果学習のためのシミュレータSPACEを紹介する。
SPACEデータセットは、毎日のオブジェクトインタラクションにインスパイアされ、封じ込め、安定性、接触という3種類の物理的なイベントを描写したビデオで構成されている。
SPACEデータセットは、カリキュラム学習にインスパイアされたアプローチにより、直感的な物理学の学習を改善する。
- 参考スコア(独自算出の注目度): 2.105564340986074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in deep learning, computer vision, and embodied AI have
given rise to synthetic causal reasoning video datasets. These datasets
facilitate the development of AI algorithms that can reason about physical
interactions between objects. However, datasets thus far have primarily focused
on elementary physical events such as rolling or falling. There is currently a
scarcity of datasets that focus on the physical interactions that humans
perform daily with objects in the real world. To address this scarcity, we
introduce SPACE: A Simulator for Physical Interactions and Causal Learning in
3D Environments. The SPACE simulator allows us to generate the SPACE dataset, a
synthetic video dataset in a 3D environment, to systematically evaluate
physics-based models on a range of physical causal reasoning tasks. Inspired by
daily object interactions, the SPACE dataset comprises videos depicting three
types of physical events: containment, stability and contact. These events make
up the vast majority of the basic physical interactions between objects. We
then further evaluate it with a state-of-the-art physics-based deep model and
show that the SPACE dataset improves the learning of intuitive physics with an
approach inspired by curriculum learning. Repository:
https://github.com/jiafei1224/SPACE
- Abstract(参考訳): ディープラーニング、コンピュータビジョン、具体化aiの最近の進歩は、合成因果推論ビデオデータセットを生み出した。
これらのデータセットは、オブジェクト間の物理的相互作用を推論できるaiアルゴリズムの開発を促進する。
しかし、これまでのデータセットは主に転がりや転がりなどの基本的な物理的事象に焦点を当てていた。
現在、人間が現実世界のオブジェクトと毎日行う物理的相互作用に焦点を当てたデータセットが不足しています。
この不足に対処するために,3次元環境における物理インタラクションと因果学習のシミュレータSPACEを紹介する。
SPACEシミュレータは,3次元環境下での合成ビデオデータセットであるSPACEデータセットを生成し,物理因果推論タスクに基づいて物理ベースのモデルを体系的に評価する。
SPACEデータセットは、毎日のオブジェクトインタラクションにインスパイアされ、封じ込め、安定性、接触という3種類の物理的なイベントを描写したビデオで構成されている。
これらの出来事は、オブジェクト間の基本的な物理的相互作用の大部分を占めている。
さらに、最先端の物理に基づく深層モデルを用いて評価を行い、SPACEデータセットがカリキュラム学習にインスパイアされたアプローチを用いて直感的な物理学習を改善することを示す。
Repository: https://github.com/jiafei1224/SPACE
関連論文リスト
- ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative
Modeling of Human-Object Interactions [11.32229757116179]
そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。
ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
論文 参考訳(メタデータ) (2024-01-18T18:59:58Z) - PhysHOI: Physics-Based Imitation of Dynamic Human-Object Interaction [22.48933099236595]
本稿では,PhysHOIについて述べる。PhysHOIは,タスク固有の報酬設計を伴わない物理ベースの全体HOI模倣手法である。
人や物体のキネマティックHOI表現以外は、接触グラフを導入し、身体部分と物体との接触関係を明示的にモデル化する。
鍵となる設計に基づいて、PhysHOIは様々なHOIタスクを模倣できる。
論文 参考訳(メタデータ) (2023-12-07T16:06:31Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - Finding Fallen Objects Via Asynchronous Audio-Visual Integration [89.75296559813437]
本稿では,3次元仮想環境におけるマルチモーダルオブジェクトのローカライゼーションについて検討する。
カメラとマイクを装備したロボットエージェントは、音声と視覚信号を基礎となる物理学の知識と組み合わせることで、どの物体が落下したか(そしてどこにあるか)を判断しなければならない。
このデータセットは、物理ベースの衝撃音と、フォトリアリスティックな設定でオブジェクト間の複雑な物理的相互作用をシミュレートする3DWorldプラットフォームを使用している。
論文 参考訳(メタデータ) (2022-07-07T17:59:59Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳(メタデータ) (2022-04-14T13:21:19Z) - HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。
年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。
アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
論文 参考訳(メタデータ) (2021-12-23T22:27:55Z) - Hindsight for Foresight: Unsupervised Structured Dynamics Models from
Physical Interaction [24.72947291987545]
エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。
本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2020-08-02T11:04:49Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳(メタデータ) (2020-07-09T17:33:27Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳(メタデータ) (2020-04-30T19:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。