論文の概要: ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation
- arxiv url: http://arxiv.org/abs/2007.04954v2
- Date: Tue, 28 Dec 2021 17:03:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 04:18:35.466523
- Title: ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation
- Title（参考訳）: threedworld:対話型マルチモーダル物理シミュレーションのためのプラットフォーム
- Authors: Chuang Gan, Jeremy Schwartz, Seth Alter, Damian Mrowca, Martin
Schrimpf, James Traer, Julian De Freitas, Jonas Kubilius, Abhishek
Bhandwaldar, Nick Haber, Megumi Sano, Kuno Kim, Elias Wang, Michael
Lingelbach, Aidan Curtis, Kevin Feigelis, Daniel M. Bear, Dan Gutfreund,
David Cox, Antonio Torralba, James J. DiCarlo, Joshua B. Tenenbaum, Josh H.
McDermott, Daniel L.K. Yamins
- Abstract要約: ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
- 参考スコア（独自算出の注目度）: 75.0278287071591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce ThreeDWorld (TDW), a platform for interactive multi-modal
physical simulation. TDW enables simulation of high-fidelity sensory data and
physical interactions between mobile agents and objects in rich 3D
environments. Unique properties include: real-time near-photo-realistic image
rendering; a library of objects and environments, and routines for their
customization; generative procedures for efficiently building classes of new
environments; high-fidelity audio rendering; realistic physical interactions
for a variety of material types, including cloths, liquid, and deformable
objects; customizable agents that embody AI agents; and support for human
interactions with VR devices. TDW's API enables multiple agents to interact
within a simulation and returns a range of sensor and physics data representing
the state of the world. We present initial experiments enabled by TDW in
emerging research directions in computer vision, machine learning, and
cognitive science, including multi-modal physical scene understanding, physical
dynamics predictions, multi-agent interactions, models that learn like a child,
and attention studies in humans and neural networks.
- Abstract（参考訳）: インタラクティブなマルチモーダル物理シミュレーションプラットフォームであるThreeDWorld(TDW)を紹介する。
tdwは、高忠実度感覚データのシミュレーションと、リッチな3d環境での移動エージェントとオブジェクト間の物理的相互作用を可能にする。
ユニークな特性としては、リアルタイムに近い写実的画像レンダリング、オブジェクトと環境のライブラリ、カスタマイズのためのルーチン、新しい環境のクラスを効率的に構築するための生成手順、高忠実なオーディオレンダリング、布、液体、変形可能なオブジェクトを含む様々な素材タイプのリアルな物理的相互作用、AIエージェントを具現化するカスタマイズ可能なエージェント、VRデバイスとのヒューマンインタラクションのサポートなどがある。
TDWのAPIは、シミュレーション内で複数のエージェントが相互作用し、世界の状態を表すセンサーや物理データを返却することを可能にする。
本稿では,コンピュータビジョン,機械学習,認知科学における新たな研究方向において,tdwによって実現される最初の実験として,マルチモーダルな物理シーン理解,物理力学予測,マルチエージェントインタラクション,子どものように学習するモデル,人間やニューラルネットワークにおける注意研究について述べる。
関連論文リスト
- EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - Haptic Repurposing with GenAI [5.424247121310253]
Mixed Realityは、デジタル世界と物理的な世界を融合して、没入型人間とコンピュータのインタラクションを作ることを目指している。
本稿では,Haptic Repurposing with GenAIを紹介し,任意の物理オブジェクトをAI生成仮想アセットの適応型触覚インターフェースに変換することによってMRインタラクションを強化する革新的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-06-11T13:06:28Z) - Physics3D: Learning Physical Properties of 3D Gaussians via Video Diffusion [35.71595369663293]
ビデオ拡散モデルを用いて3Dオブジェクトの様々な物理的特性を学習する新しい手法である textbfPhysics3D を提案する。
本手法では,粘弾性材料モデルに基づく高一般化物理シミュレーションシステムを設計する。
弾性材料とプラスチック材料の両方を用いて, 本手法の有効性を実証した。
論文 参考訳（メタデータ） (2024-06-06T17:59:47Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳（メタデータ） (2024-04-19T17:41:05Z) - ParaHome: Parameterizing Everyday Home Activities Towards 3D Generative
Modeling of Human-Object Interactions [11.32229757116179]
そこで我々は,人間と物体の動的3次元運動を,共通のホーム環境内で捉えるために設計されたParaHomeシステムを紹介した。
ParaHomeシステムを利用することで、人間と物体の相互作用の大規模なデータセットを収集する。
論文 参考訳（メタデータ） (2024-01-18T18:59:58Z) - HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。
年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。
アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
論文 参考訳（メタデータ） (2021-12-23T22:27:55Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。
我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。
物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
論文 参考訳（メタデータ） (2021-01-12T12:55:53Z) - iGibson, a Simulation Environment for Interactive Tasks in Large
Realistic Scenes [54.04456391489063]
iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。
私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。
iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
論文 参考訳（メタデータ） (2020-12-05T02:14:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。