論文の概要: Closed Loop Interactive Embodied Reasoning for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2404.15194v2
• Date: Mon, 10 Mar 2025 21:28:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 19:16:22.310768
• Title: Closed Loop Interactive Embodied Reasoning for Robot Manipulation
• Title（参考訳）: ロボットマニピュレーションのためのループ型対話型共振器
• Authors: Michal Nazarczuk, Jan Kristof Behrens, Karla Stepanova, Matej Hoffmann, Krystian Mikolajczyk,
• Abstract要約: 身体的推論システムは、ロボットハードウェアと認知プロセスを統合して複雑なタスクを実行する。 そこで我々は,CLIER(Closed Loop Interactive Embodied Reasoning)アプローチを導入した。 CLIERは、非視覚的物体の特性の測定、外乱によるシーンの変化、そしてロボット行動の不確実な結果を考慮している。
• 参考スコア（独自算出の注目度）: 17.732550906162192
• License:
• Abstract: Embodied reasoning systems integrate robotic hardware and cognitive processes to perform complex tasks, typically in response to a natural language query about a specific physical environment. This usually involves changing the belief about the scene or physically interacting and changing the scene (e.g. sort the objects from lightest to heaviest). In order to facilitate the development of such systems we introduce a new modular Closed Loop Interactive Embodied Reasoning (CLIER) approach that takes into account the measurements of non-visual object properties, changes in the scene caused by external disturbances as well as uncertain outcomes of robotic actions. CLIER performs multi-modal reasoning and action planning and generates a sequence of primitive actions that can be executed by a robot manipulator. Our method operates in a closed loop, responding to changes in the environment. Our approach is developed with the use of MuBle simulation environment and tested in 10 interactive benchmark scenarios. We extensively evaluate our reasoning approach in simulation and in real-world manipulation tasks with a success rate above 76% and 64%, respectively.
• Abstract（参考訳）: 身体的推論システムは、ロボットハードウェアと認知プロセスを統合して複雑なタスクを行う。 これは通常、シーンについての信念を変更したり、物理的に相互作用したり、シーンを変更したりする(例えば、オブジェクトを最も軽いものから重いものへとソートする)。 このようなシステムの開発を容易にするために,非視覚的物体特性の測定,外乱によるシーンの変化,ロボット動作の不確実な結果を考慮した,新しいモジュラー・ループ・インタラクティブ・エボダイド・推論(CLIER)手法を導入する。 CLIERはマルチモーダル推論とアクション計画を実行し、ロボットマニピュレータで実行できる一連の原始的なアクションを生成する。 本手法は, 環境変化に対応して, 閉ループで動作する。 提案手法は, MuBle シミュレーション環境を用いて開発され, 10 個のベンチマークシナリオで検証される。 シミュレーションおよび実世界の操作タスクにおける推論手法を,それぞれ76%,64%以上の成功率で広く評価した。

関連論文リスト

• Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
  Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。 人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。 また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
  論文  参考訳（メタデータ） (2024-11-19T12:52:21Z)
• Dynamics as Prompts: In-Context Learning for Sim-to-Real System Identifications [23.94013806312391]
  そこで本研究では,テキスト内学習を用いてシミュレーション環境パラメータを動的に調整する手法を提案する。 オブジェクトスクーピングとテーブルエアホッケーという2つのタスクにまたがるアプローチを検証する。 提案手法は,ロボットの動的現実シナリオへの展開を推し進め,効率的かつスムーズなシステム識別を実現する。
  論文  参考訳（メタデータ） (2024-10-27T07:13:38Z)
• M3Bench: Benchmarking Whole-body Motion Generation for Mobile Manipulation in 3D Scenes [66.44171200767839]
  モバイル操作タスクのための全身動作生成のベンチマークであるM3Benchを提案する。 M3Benchは、その構成、環境制約、タスクの目的を理解するために、実施エージェントを必要とする。 M3Benchは119の多様なシーンにまたがる30kのオブジェクト再構成タスクを備えており、新たに開発したM3BenchMakerによって生成された専門家によるデモを提供する。
  論文  参考訳（メタデータ） (2024-10-09T08:38:21Z)
• QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors [69.75711933065378]
  ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。 本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
  論文  参考訳（メタデータ） (2023-06-09T04:40:38Z)
• Inferring Articulated Rigid Body Dynamics from RGBD Video [18.154013621342266]
  我々は,逆レンダリングと微分可能なシミュレーションを組み合わせるパイプラインを導入し,実世界の調音機構のディジタルツインを作成する。 本手法はロボットが操作する関節機構のキネマティックツリーを正確に再構築する。
  論文  参考訳（メタデータ） (2022-03-20T08:19:02Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)
• ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
  ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。 TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。 我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
  論文  参考訳（メタデータ） (2020-07-09T17:33:27Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)
• SAPIEN: A SimulAted Part-based Interactive ENvironment [77.4739790629284]
  SAPIENは現実的で物理に富んだシミュレートされた環境であり、音声オブジェクトのための大規模なセットをホストしている。 部品検出と動作特性認識のための最先端の視覚アルゴリズムの評価を行い,ロボットインタラクションタスクの実証を行った。
  論文  参考訳（メタデータ） (2020-03-19T00:11:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。