論文の概要: The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion
Planning Benchmark for Physically Realistic Embodied AI
- arxiv url: http://arxiv.org/abs/2103.14025v1
- Date: Thu, 25 Mar 2021 17:59:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-26 15:02:09.900335
- Title: The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion
Planning Benchmark for Physically Realistic Embodied AI
- Title（参考訳）: 3DWorld Transport Challenge: 物理的に現実的な身体的AIのための視覚ガイド付きタスク・アンド・モビリティ・プランニングベンチマーク
- Authors: Chuang Gan, Siyuan Zhou, Jeremy Schwartz, Seth Alter, Abhishek
Bhandwaldar, Dan Gutfreund, Daniel L.K. Yamins, James J DiCarlo, Josh
McDermott, Antonio Torralba, Joshua B. Tenenbaum
- Abstract要約: 3Dワールドトランスポートチャレンジと呼ばれる視覚誘導と物理駆動のタスク・アンド・モーション計画ベンチマークを紹介します。
この課題では、シミュレーションされた実家環境において、2つの9-DOF関節アームを備えたエンボディエージェントをランダムに生成する。
エージェントは、家の周りに散在するオブジェクトの小さなセットを見つけ、それらをピックアップし、望ましい最終的な場所に輸送する必要があります。
- 参考スコア（独自算出の注目度）: 96.86091264553613
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a visually-guided and physics-driven task-and-motion planning
benchmark, which we call the ThreeDWorld Transport Challenge. In this
challenge, an embodied agent equipped with two 9-DOF articulated arms is
spawned randomly in a simulated physical home environment. The agent is
required to find a small set of objects scattered around the house, pick them
up, and transport them to a desired final location. We also position containers
around the house that can be used as tools to assist with transporting objects
efficiently. To complete the task, an embodied agent must plan a sequence of
actions to change the state of a large number of objects in the face of
realistic physical constraints. We build this benchmark challenge using the
ThreeDWorld simulation: a virtual 3D environment where all objects respond to
physics, and where can be controlled using fully physics-driven navigation and
interaction API. We evaluate several existing agents on this benchmark.
Experimental results suggest that: 1) a pure RL model struggles on this
challenge; 2) hierarchical planning-based agents can transport some objects but
still far from solving this task. We anticipate that this benchmark will
empower researchers to develop more intelligent physics-driven robots for the
physical world.
- Abstract（参考訳）: 本稿では,3DWorld Transport Challengeと呼ばれる,視覚誘導・物理駆動型タスク・アンド・モーション計画ベンチマークを紹介する。
この課題では、シミュレーションされた実家環境において、2つの9-DOF関節アームを備えたエンボディエージェントをランダムに生成する。
エージェントは、家の周りに散らばっている小さな物体を見つけ、それらを拾い上げ、望ましい最終場所に運ぶ必要がある。
また,オブジェクトを効率的に輸送するためのツールとして使用できるコンテナを家の周りに配置する。
タスクを完了させるために、具体化エージェントは、現実的な物理的制約に直面して多数のオブジェクトの状態を変更するための一連のアクションを計画しなければならない。
我々は3DWorldシミュレーションを用いて、全ての物体が物理に反応し、物理駆動のナビゲーションとインタラクションAPIで制御できる仮想3D環境を用いて、このベンチマーク課題を構築した。
このベンチマークでいくつかの既存エージェントを評価した。
1) 純粋なrlモデルはこの課題に苦慮している。2) 階層的計画に基づくエージェントはいくつかのオブジェクトを輸送できるが、この課題の解決には程遠い。
このベンチマークによって、物理世界のためのよりインテリジェントな物理駆動ロボットの開発が期待できる。
関連論文リスト
- M3Bench: Benchmarking Whole-body Motion Generation for Mobile Manipulation in 3D Scenes [66.44171200767839]
モバイル操作タスクのための全身動作生成のベンチマークであるM3Benchを提案する。
M3Benchは、その構成、環境制約、タスクの目的を理解するために、実施エージェントを必要とする。
M3Benchは119の多様なシーンにまたがる30kのオブジェクト再構成タスクを備えており、新たに開発したM3BenchMakerによって生成された専門家によるデモを提供する。
論文 参考訳（メタデータ） (2024-10-09T08:38:21Z) - PlaMo: Plan and Move in Rich 3D Physical Environments [68.75982381673869]
シーン認識型パスプランナで,ロバストな物理制御系であるPlaMoについて紹介する。
プランナーは、シーンが動きに課す様々な制限を考慮して、一連の動き経路を生成する。
私たちのコントロールポリシーは、計画に忠実なリッチでリアルな物理運動を生成します。
論文 参考訳（メタデータ） (2024-06-26T10:41:07Z) - Planning for Complex Non-prehensile Manipulation Among Movable Objects
by Interleaving Multi-Agent Pathfinding and Physics-Based Simulation [23.62057790524675]
重いクラッタにおける現実世界の操作問題は、ロボットが環境内の物体との潜在的な接触を推論する必要がある。
そこで我々は,対象物を棚から取り出すためのピック・アンド・プレイス・スタイルのタスクに焦点を合わせ,そのタスクを解決するために移動可能なオブジェクトを並べ替える必要がある。
特に、我々のモチベーションは、ロボットが複雑なロボットオブジェクトとオブジェクトオブジェクトの相互作用を引き起こす非包括的再配置動作を推論し、検討できるようにすることである。
論文 参考訳（メタデータ） (2023-03-23T15:29:27Z) - Out of the Box: Embodied Navigation in the Real World [45.97756658635314]
シミュレーションで得られた知識を現実世界に伝達する方法を示す。
モデルは1台のIntel RealSenseカメラを搭載したLoCoBotにデプロイします。
本実験では,得られたモデルを実世界に展開することで,満足のいく結果が得られることを示した。
論文 参考訳（メタデータ） (2021-05-12T18:00:14Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳（メタデータ） (2021-01-16T23:00:33Z) - Kinematics-Guided Reinforcement Learning for Object-Aware 3D Ego-Pose
Estimation [25.03715978502528]
本研究では,物体の相互作用と人体動態を3次元エゴ位置推定のタスクに組み込む手法を提案する。
我々は人体の運動モデルを用いて、人間の運動の全範囲を表現し、身体の力学モデルを用いて、物理学シミュレータ内の物体と相互作用する。
これは、エゴセントリックなビデオからオブジェクトと物理的に有効な3Dフルボディインタラクションシーケンスを推定する最初の試みである。
論文 参考訳（メタデータ） (2020-11-10T00:06:43Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z) - LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。
まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。
本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
論文 参考訳（メタデータ） (2020-06-16T17:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。