論文の概要: LaNMP: A Language-Conditioned Mobile Manipulation Benchmark for Autonomous Robots

• arxiv url: http://arxiv.org/abs/2412.05313v1
• Date: Thu, 28 Nov 2024 19:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-15 08:00:21.574827
• Title: LaNMP: A Language-Conditioned Mobile Manipulation Benchmark for Autonomous Robots
• Title（参考訳）: LaNMP: 自律型ロボットのための言語記述型モバイル操作ベンチマーク
• Authors: Ahmed Jaafar, Shreyas Sundara Raman, Yichen Wei, Sofia Juliani, Anneke Wernerfelt, Benedict Quartey, Ifrah Idrees, Jason Xinyu Liu, Stefanie Tellex,
• Abstract要約: 本稿ではLanguage, Navigation, Manipulation, Perception (LaNMP)データセットを提案する。 LaNMPは、自然言語で指定された長時間の部屋と部屋のピック・アンド・プレイスタスクのための574のトラジェクトリから構成される。 シミュレーションで2つのモデルを微調整してテストし、物理ロボットで3分の1の評価を行い、ベンチマークが開発・評価に有効であることを実証した。
• 参考スコア（独自算出の注目度）: 12.297949111235699
• License:
• Abstract: As robots that follow natural language become more capable and prevalent, we need a benchmark to holistically develop and evaluate their ability to solve long-horizon mobile manipulation tasks in large, diverse environments. To tackle this challenge, robots must use visual and language understanding, navigation, and manipulation capabilities. Existing datasets do not integrate all these aspects, restricting their efficacy as benchmarks. To address this gap, we present the Language, Navigation, Manipulation, Perception (LaNMP, pronounced Lamp) dataset and demonstrate the benefits of integrating these four capabilities and various modalities. LaNMP comprises 574 trajectories across eight simulated and real-world environments for long-horizon room-to-room pick-and-place tasks specified by natural language. Every trajectory consists of over 20 attributes, including RGB-D images, segmentations, and the poses of the robot body, end-effector, and grasped objects. We fine-tuned and tested two models in simulation, and evaluated a third on a physical robot, to demonstrate the benchmark's applicability in development and evaluation, as well as making models more sample efficient. The models performed suboptimally compared to humans; however, showed promise in increasing model sample efficiency, indicating significant room for developing more sample efficient multimodal mobile manipulation models using our benchmark.
• Abstract（参考訳）: 自然言語に追従するロボットがより有能になり、普及するにつれて、大規模で多様な環境において、長期にわたる移動操作タスクを解く能力の全体的開発と評価を行うためのベンチマークが必要である。 この課題に取り組むには、ロボットは視覚的および言語理解、ナビゲーション、操作機能を使用する必要がある。 既存のデータセットはこれらのすべての側面を統合しておらず、ベンチマークとしての有効性を制限する。 このギャップに対処するために、Language, Navigation, Manipulation, Perception (LaNMP, 発音Lamp)データセットを示し、これらの4つの機能と様々なモダリティを統合する利点を実証する。 LaNMPは8つのシミュレーションおよび実世界の環境にまたがる574の軌道から構成される。 すべての軌道は、RGB-D画像、セグメンテーション、ロボット本体、エンドエフェクター、把握された物体のポーズを含む20以上の属性で構成されている。 シミュレーションで2つのモデルを微調整してテストし、物理ロボットで3分の1の評価を行い、ベンチマークが開発と評価に適用可能であることを実証した。 しかし, モデルサンプル効率の向上は有望であり, より効率的なマルチモーダル移動操作モデルを開発する余地が示唆された。

関連論文リスト

• M3Bench: Benchmarking Whole-body Motion Generation for Mobile Manipulation in 3D Scenes [66.44171200767839]
  モバイル操作タスクのための全身動作生成のベンチマークであるM3Benchを提案する。 M3Benchは、その構成、環境制約、タスクの目的を理解するために、実施エージェントを必要とする。 M3Benchは119の多様なシーンにまたがる30kのオブジェクト再構成タスクを備えており、新たに開発したM3BenchMakerによって生成された専門家によるデモを提供する。
  論文  参考訳（メタデータ） (2024-10-09T08:38:21Z)
• SKT: Integrating State-Aware Keypoint Trajectories with Vision-Language Models for Robotic Garment Manipulation [82.61572106180705]
  本稿では、視覚言語モデル(VLM)を用いて、様々な衣服カテゴリーにおけるキーポイント予測を改善する統一的なアプローチを提案する。 我々は、高度なシミュレーション技術を用いて大規模な合成データセットを作成し、大規模な実世界のデータを必要としないスケーラブルなトレーニングを可能にした。 実験結果から, VLM法はキーポイント検出精度とタスク成功率を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2024-09-26T17:26:16Z)
• DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
  DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。 言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。 実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
  論文  参考訳（メタデータ） (2024-05-12T15:38:17Z)
• Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks [0.0]
  本研究では,ロボット操作分野における教師なし視覚-言語-アクションマッピングに着目した。 本研究では,シミュレータにおけるモデルの性能を最大55%向上させるモデル不変学習法を提案する。 我々の研究は、ロボット運動軌跡の教師なし学習に現在のマルチモーダルVAEを使用することの潜在的な利点と限界にも光を当てている。
  論文  参考訳（メタデータ） (2024-04-02T13:25:16Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models [38.503337052122234]
  大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。 我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。 筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
  論文  参考訳（メタデータ） (2023-07-12T07:40:48Z)
• PACT: Perception-Action Causal Transformer for Autoregressive Robotics Pre-Training [25.50131893785007]
  本研究は,ロボットにおける複数のタスクの出発点として機能する汎用表現を事前学習するためのパラダイムを導入する。 本稿では,ロボットデータから直接表現を自己管理的に構築することを目的として,PACT(Perception-Action Causal Transformer)を提案する。 より大規模な事前学習モデル上に小さなタスク特化ネットワークを微調整すると、同時に1つのモデルをスクラッチからトレーニングするのに比べ、性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:20:17Z)
• MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
  本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。 提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。 また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
  論文  参考訳（メタデータ） (2021-12-29T17:23:24Z)
• Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
  本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。 システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。 公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
  論文  参考訳（メタデータ） (2021-03-17T15:24:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。