論文の概要: LaNMP: A Language-Conditioned Mobile Manipulation Benchmark for Autonomous Robots

• arxiv url: http://arxiv.org/abs/2412.05313v1
• Date: Thu, 28 Nov 2024 19:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-15 08:00:21.574827
• Title: LaNMP: A Language-Conditioned Mobile Manipulation Benchmark for Autonomous Robots
• Title（参考訳）: LaNMP: 自律型ロボットのための言語記述型モバイル操作ベンチマーク
• Authors: Ahmed Jaafar, Shreyas Sundara Raman, Yichen Wei, Sofia Juliani, Anneke Wernerfelt, Benedict Quartey, Ifrah Idrees, Jason Xinyu Liu, Stefanie Tellex,
• Abstract要約: 本稿ではLanguage, Navigation, Manipulation, Perception (LaNMP)データセットを提案する。 LaNMPは、自然言語で指定された長時間の部屋と部屋のピック・アンド・プレイスタスクのための574のトラジェクトリから構成される。 シミュレーションで2つのモデルを微調整してテストし、物理ロボットで3分の1の評価を行い、ベンチマークが開発・評価に有効であることを実証した。
• 参考スコア（独自算出の注目度）: 12.297949111235699
• License:
• Abstract: As robots that follow natural language become more capable and prevalent, we need a benchmark to holistically develop and evaluate their ability to solve long-horizon mobile manipulation tasks in large, diverse environments. To tackle this challenge, robots must use visual and language understanding, navigation, and manipulation capabilities. Existing datasets do not integrate all these aspects, restricting their efficacy as benchmarks. To address this gap, we present the Language, Navigation, Manipulation, Perception (LaNMP, pronounced Lamp) dataset and demonstrate the benefits of integrating these four capabilities and various modalities. LaNMP comprises 574 trajectories across eight simulated and real-world environments for long-horizon room-to-room pick-and-place tasks specified by natural language. Every trajectory consists of over 20 attributes, including RGB-D images, segmentations, and the poses of the robot body, end-effector, and grasped objects. We fine-tuned and tested two models in simulation, and evaluated a third on a physical robot, to demonstrate the benchmark's applicability in development and evaluation, as well as making models more sample efficient. The models performed suboptimally compared to humans; however, showed promise in increasing model sample efficiency, indicating significant room for developing more sample efficient multimodal mobile manipulation models using our benchmark.
• Abstract（参考訳）: 自然言語に追従するロボットがより有能になり、普及するにつれて、大規模で多様な環境において、長期にわたる移動操作タスクを解く能力の全体的開発と評価を行うためのベンチマークが必要である。 この課題に取り組むには、ロボットは視覚的および言語理解、ナビゲーション、操作機能を使用する必要がある。 既存のデータセットはこれらのすべての側面を統合しておらず、ベンチマークとしての有効性を制限する。 このギャップに対処するために、Language, Navigation, Manipulation, Perception (LaNMP, 発音Lamp)データセットを示し、これらの4つの機能と様々なモダリティを統合する利点を実証する。 LaNMPは8つのシミュレーションおよび実世界の環境にまたがる574の軌道から構成される。 すべての軌道は、RGB-D画像、セグメンテーション、ロボット本体、エンドエフェクター、把握された物体のポーズを含む20以上の属性で構成されている。 シミュレーションで2つのモデルを微調整してテストし、物理ロボットで3分の1の評価を行い、ベンチマークが開発と評価に適用可能であることを実証した。 しかし, モデルサンプル効率の向上は有望であり, より効率的なマルチモーダル移動操作モデルを開発する余地が示唆された。

関連論文リスト

• Error-driven Data-efficient Large Multimodal Model Tuning [35.20400815089843]
  大規模マルチモーダルモデル (LMM) は、多くの学術ベンチマークで顕著な性能を示している。 本稿では,新しいタスクにジェネリックLMMを効率よく適応することを目的とした,エラー駆動型データ効率チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-20T08:07:11Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation [8.940998315746684]
  ロボットアームのエンドタスクに対するモデルベース強化学習(RL)アプローチを提案する。 我々はベイズニューラルネットワークモデルを用いて、探索中に動的モデルに符号化された信念と情報の両方を確率論的に表現する。 実験により,ベイズモデルに基づくRL手法の利点が示された。
  論文  参考訳（メタデータ） (2024-04-02T11:44:37Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Temporal Difference Learning for Model Predictive Control [29.217382374051347]
  データ駆動モデル予測制御は、モデルフリーメソッドよりも2つの大きな利点がある。 TD-MPCは、状態と画像に基づく連続制御タスクの事前処理よりも、より優れたサンプリング効率と性能を実現する。
  論文  参考訳（メタデータ） (2022-03-09T18:58:28Z)
• Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language Transfer Learning [59.38343286807997]
  未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。 モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。 MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-09T17:26:53Z)
• Can Deep Learning be Applied to Model-Based Multi-Object Tracking? [25.464269324261636]
  マルチオブジェクトトラッキング(MOT)は、ノイズ測定を用いて未知の、時間変化のあるオブジェクトの状態をトラッキングする問題である。 ディープラーニング(DL)は、トラッキングパフォーマンスを改善するために、MOTでますます使われている。 本稿では,TransformerベースのDLトラッカーを提案し,その性能をモデルベースで評価する。
  論文  参考訳（メタデータ） (2022-02-16T07:43:08Z)
• Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
  モデルに基づく視覚的目標達成のための自己監視手法を提案する。 私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。 このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T23:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。