論文の概要: Learning Intuitive Physics with Multimodal Generative Models
- arxiv url: http://arxiv.org/abs/2101.04454v2
- Date: Tue, 19 Jan 2021 21:57:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 01:52:47.561304
- Title: Learning Intuitive Physics with Multimodal Generative Models
- Title（参考訳）: 多モード生成モデルによる直観物理学の学習
- Authors: Sahand Rezaei-Shoshtari, Francois Robert Hogan, Michael Jenkin, David
Meger, Gregory Dudek
- Abstract要約: 本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。
我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。
物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
- 参考スコア（独自算出の注目度）: 24.342994226226786
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting the future interaction of objects when they come into contact with
their environment is key for autonomous agents to take intelligent and
anticipatory actions. This paper presents a perception framework that fuses
visual and tactile feedback to make predictions about the expected motion of
objects in dynamic scenes. Visual information captures object properties such
as 3D shape and location, while tactile information provides critical cues
about interaction forces and resulting object motion when it makes contact with
the environment. Utilizing a novel See-Through-your-Skin (STS) sensor that
provides high resolution multimodal sensing of contact surfaces, our system
captures both the visual appearance and the tactile properties of objects. We
interpret the dual stream signals from the sensor using a Multimodal
Variational Autoencoder (MVAE), allowing us to capture both modalities of
contacting objects and to develop a mapping from visual to tactile interaction
and vice-versa. Additionally, the perceptual system can be used to infer the
outcome of future physical interactions, which we validate through simulated
and real-world experiments in which the resting state of an object is predicted
from given initial conditions.
- Abstract（参考訳）: 物体が環境と接触する際の未来の相互作用を予測することは、自律的なエージェントが知的で予測可能な行動を取るための鍵となる。
本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。
視覚情報は3d形状や位置などの物体特性をキャプチャし、触覚情報は相互作用力と環境との接触時の物体の動きに関する重要な手がかりを提供する。
接触面の高分解能マルチモーダルセンシングを実現する新しいSee-Through-Your-Skin(STS)センサを用いて,物体の視覚的外観と触覚特性の両方をキャプチャする。
マルチモーダル変分オートエンコーダ (MVAE) を用いてセンサからのデュアルストリーム信号を解釈し, 接触対象の両モードを捕捉し, 視覚的・触覚的相互作用と逆変換のマッピングを開発する。
さらに、物体の静止状態が与えられた初期状態から予測されるシミュレーションおよび実世界の実験を通して、将来の物理的相互作用の結果を予測するために知覚システムを利用することができる。
関連論文リスト
- Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [52.36691633451968]
ViTaM-Dは動的手動物体相互作用再構成のための視覚触覚フレームワークである。
DF-Fieldは分散力認識型接触表現モデルである。
剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能について検討した。
論文 参考訳（メタデータ） (2024-11-14T16:29:45Z) - Haptic Repurposing with GenAI [5.424247121310253]
Mixed Realityは、デジタル世界と物理的な世界を融合して、没入型人間とコンピュータのインタラクションを作ることを目指している。
本稿では,Haptic Repurposing with GenAIを紹介し,任意の物理オブジェクトをAI生成仮想アセットの適応型触覚インターフェースに変換することによってMRインタラクションを強化する革新的なアプローチを提案する。
論文 参考訳（メタデータ） (2024-06-11T13:06:28Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳（メタデータ） (2024-04-19T17:41:05Z) - Touch and Go: Learning from Human-Collected Vision and Touch [16.139106833276]
我々はTouch and Goという,視覚と触覚のペアデータを用いたデータセットを提案する。
人間のデータ収集者は触覚センサーを使って自然環境の物体を探査する。
私たちのデータセットは、多数の"野生の"オブジェクトとシーンにまたがっています。
論文 参考訳（メタデータ） (2022-11-22T18:59:32Z) - Visual-Tactile Multimodality for Following Deformable Linear Objects
Using Reinforcement Learning [15.758583731036007]
本稿では,視覚と触覚入力を併用して変形可能な線形物体を追従するタスクを完遂する問題について検討する。
我々は,異なる感覚モーダルを用いた強化学習エージェントを作成し,その動作をどのように促進するかを検討する。
実験の結果,視覚入力と触覚入力の両方を使用することで,最大92%の症例で作業が完了することがわかった。
論文 参考訳（メタデータ） (2022-03-31T21:59:08Z) - Dynamic Modeling of Hand-Object Interactions via Tactile Sensing [133.52375730875696]
本研究では,高分解能な触覚グローブを用いて,多種多様な物体に対して4種類のインタラクティブな動作を行う。
我々は,クロスモーダル学習フレームワーク上にモデルを構築し,視覚処理パイプラインを用いてラベルを生成し,触覚モデルを監督する。
この研究は、高密度触覚センシングによる手動物体相互作用における動的モデリングの一歩を踏み出す。
論文 参考訳（メタデータ） (2021-09-09T16:04:14Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - Visual Grounding of Learned Physical Models [66.04898704928517]
人間は、物体の物理的特性を直感的に認識し、複雑な相互作用に従事している場合でも、その動きを予測する。
我々は、物理を同時に推論し、視覚と力学の先行に基づく将来の予測を行うニューラルモデルを提案する。
実験により、我々のモデルはいくつかの観測範囲内で物理的特性を推測できることが示され、モデルが目に見えないシナリオに迅速に適応し、将来正確な予測を行うことができる。
論文 参考訳（メタデータ） (2020-04-28T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。