論文の概要: DASH: Modularized Human Manipulation Simulation with Vision and Language
for Embodied AI
- arxiv url: http://arxiv.org/abs/2108.12536v1
- Date: Sat, 28 Aug 2021 00:22:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 21:40:08.734547
- Title: DASH: Modularized Human Manipulation Simulation with Vision and Language
for Embodied AI
- Title（参考訳）: DASH:人工知能のための視覚と言語を用いたモジュール化されたヒューマンマニピュレーションシミュレーション
- Authors: Yifeng Jiang, Michelle Guo, Jiangshan Li, Ioannis Exarchos, Jiajun Wu,
C. Karen Liu
- Abstract要約: 本稿では,動的・自律的シミュレーション人間(DASH)について述べる。
DASHシステムを視覚モジュール、言語モジュール、および2つのスキルカテゴリの操作モジュールに分解することにより、DASHがランダムに配置されたタスクを高い成功率で実行できるように、異なるモジュールに対して解析的および機械学習テクニックを混在させ、マッチングすることができる。
- 参考スコア（独自算出の注目度）: 25.144827619452105
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Creating virtual humans with embodied, human-like perceptual and actuation
constraints has the promise to provide an integrated simulation platform for
many scientific and engineering applications. We present Dynamic and Autonomous
Simulated Human (DASH), an embodied virtual human that, given natural language
commands, performs grasp-and-stack tasks in a physically-simulated cluttered
environment solely using its own visual perception, proprioception, and touch,
without requiring human motion data. By factoring the DASH system into a vision
module, a language module, and manipulation modules of two skill categories, we
can mix and match analytical and machine learning techniques for different
modules so that DASH is able to not only perform randomly arranged tasks with a
high success rate, but also do so under anthropomorphic constraints and with
fluid and diverse motions. The modular design also favors analysis and
extensibility to more complex manipulation skills.
- Abstract（参考訳）: 人間のような知覚とアクチュレーションの制約を具体化し、仮想的な人間を作ることは、多くの科学や工学のアプリケーションのための統合シミュレーションプラットフォームを提供することを約束する。
自然言語コマンドが与えられたとき、人間の動作データを必要とせずに、人間の視覚知覚、固有感覚、触覚のみを使用して、物理的にシミュレートされたクラッタ環境において把持と積み重ねを行う、具体化された仮想人間である、動的かつ自律的なシミュレート人間(dash)を提案する。
DASHシステムを視覚モジュール、言語モジュール、および2つのスキルカテゴリの操作モジュールに分解することにより、DASHがランダムに配置されたタスクを高い成功率で実行できるように、異なるモジュールに対して解析的および機械学習テクニックを混在させ、マッチングすることができる。
モジュラーデザインはまた、より複雑な操作スキルに対して分析と拡張性を好む。
関連論文リスト
- DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳（メタデータ） (2023-11-28T18:58:48Z) - Object Motion Guided Human Motion Synthesis [22.08240141115053]
大規模物体の操作におけるフルボディ人体動作合成の問題点について検討する。
条件付き拡散フレームワークであるOMOMO(Object Motion Guided Human Motion synthesis)を提案する。
我々は、操作対象物にスマートフォンを装着するだけで、全身の人間の操作動作をキャプチャする新しいシステムを開発した。
論文 参考訳（メタデータ） (2023-09-28T08:22:00Z) - DexDeform: Dexterous Deformable Object Manipulation with Human
Demonstrations and Differentiable Physics [97.75188532559952]
人間の実演から巧妙な操作スキルを抽象化する原理的枠組みを提案する。
次に、イマジネーションにおけるアクション抽象化を計画する上で、デモを使ってスキルモデルをトレーニングします。
提案手法の有効性を評価するために,6つの難解な変形可能なオブジェクト操作タスクの組を導入する。
論文 参考訳（メタデータ） (2023-03-27T17:59:49Z) - Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。
グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。
i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
論文 参考訳（メタデータ） (2023-01-14T05:35:50Z) - Accelerating Interactive Human-like Manipulation Learning with GPU-based
Simulation and High-quality Demonstrations [25.393382192511716]
コンタクトリッチなタスクを対話的に操作するための没入型仮想現実遠隔操作インタフェースを提案する。
我々は,大規模並列RLと模倣学習の相補的強みを実証し,頑健で自然な振る舞いを示す。
論文 参考訳（メタデータ） (2022-12-05T09:37:27Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳（メタデータ） (2022-10-25T01:51:36Z) - Adaptive Synthetic Characters for Military Training [0.9802137009065037]
現在の軍事シミュレーションにおける合成文字の挙動は、一般的にルールベースおよびリアクティブ計算モデルによって生成されるため、限られている。
本稿では,信頼できる行動のコヒーレントなシーケンスを実行できる自律的な合成文字を作成することを目的とした枠組みを提案する。
論文 参考訳（メタデータ） (2021-01-06T18:45:48Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。
私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。
学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
論文 参考訳（メタデータ） (2020-03-20T16:13:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。