Fugu-MT 論文翻訳(概要): Grounding Language Models in Autonomous Loco-manipulation Tasks

論文の概要: Grounding Language Models in Autonomous Loco-manipulation Tasks

arxiv url: http://arxiv.org/abs/2409.01326v1
Date: Mon, 2 Sep 2024 15:27:48 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 06:25:12.760118
Title: Grounding Language Models in Autonomous Loco-manipulation Tasks
Title（参考訳）: 自律的なロコ操作課題における接地言語モデル
Authors: Jin Wang, Nikos Tsagarakis,
Abstract要約: 異なるシナリオにおけるタスクに基づいて行動を学び、選択し、計画する新しいフレームワークを提案する。我々は,大規模言語モデル(LLM)の計画と推論機能を活用し,階層的なタスクグラフを構築する。 CENTAUROロボットを用いたシミュレーションおよび実世界の実験により、言語モデルに基づくプランナーが、新しいロコ操作タスクに効率的に適応できることが示されている。
参考スコア（独自算出の注目度）: 3.8363685417355557
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Humanoid robots with behavioral autonomy have consistently been regarded as ideal collaborators in our daily lives and promising representations of embodied intelligence. Compared to fixed-based robotic arms, humanoid robots offer a larger operational space while significantly increasing the difficulty of control and planning. Despite the rapid progress towards general-purpose humanoid robots, most studies remain focused on locomotion ability with few investigations into whole-body coordination and tasks planning, thus limiting the potential to demonstrate long-horizon tasks involving both mobility and manipulation under open-ended verbal instructions. In this work, we propose a novel framework that learns, selects, and plans behaviors based on tasks in different scenarios. We combine reinforcement learning (RL) with whole-body optimization to generate robot motions and store them into a motion library. We further leverage the planning and reasoning features of the large language model (LLM), constructing a hierarchical task graph that comprises a series of motion primitives to bridge lower-level execution with higher-level planning. Experiments in simulation and real-world using the CENTAURO robot show that the language model based planner can efficiently adapt to new loco-manipulation tasks, demonstrating high autonomy from free-text commands in unstructured scenes.
Abstract（参考訳）: 行動自律性を持ったヒューマノイドロボットは、私たちの日常生活における理想的な協力者とされてきた。固定ベースのロボットアームと比較して、ヒューマノイドロボットはより大きな操作スペースを提供し、制御と計画の難しさを大幅に増大させる。汎用型ヒューマノイドロボットへの急速な進歩にもかかわらず、ほとんどの研究は、身体全体の調整とタスク計画に関する研究がほとんどなく、移動性と操作性の両方を含む長期的タスクをオープンエンドの言語指導下で実証する可能性を制限して、移動能力に重点を置いている。本研究では,異なるシナリオにおけるタスクに基づいて行動を学び,選択し,計画する新しいフレームワークを提案する。我々は、強化学習(RL)と全身最適化を組み合わせることで、ロボットの動きを生成し、それらをモーションライブラリーに格納する。我々はさらに,大規模言語モデル(LLM)の計画と推論機能を活用し,一連の動作プリミティブからなる階層的なタスクグラフを構築し,より高レベルな計画で下位レベルの実行をブリッジする。 CENTAUROロボットを用いたシミュレーションおよび実世界の実験により、言語モデルに基づくプランナーは、非構造化シーンにおける自由テキストコマンドからの高い自律性を証明し、新しいロコ操作タスクに効率的に適応できることが示されている。

関連論文リスト

$π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
論文参考訳（メタデータ） (2024-10-31T17:22:30Z)
COHERENT: Collaboration of Heterogeneous Multi-Robot System with Large Language Models [49.24666980374751]
COHERENTは、異種マルチロボットシステムの協調のための新しいLCMベースのタスク計画フレームワークである。提案-実行-フィードバック-調整機構は,個々のロボットに対して動作を分解・割り当てするように設計されている。実験の結果,我々の研究は,成功率と実行効率の面で,従来の手法をはるかに上回っていることが明らかとなった。
論文参考訳（メタデータ） (2024-09-23T15:53:41Z)
Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model [6.9268843428933025]
大規模言語モデル(LLM)は、意味情報の理解と処理のための強力な計画と推論能力を示している。本稿では,ロボットが与えられたテキストによる指示の下で,自律的に動作や低レベル実行を計画できる新しい言語モデルベースのフレームワークを提案する。
論文参考訳（メタデータ） (2024-08-15T17:33:32Z)
HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation [7.01404330241523]
HYPERmotionは、異なるシナリオのタスクに基づいて行動を学び、選択し、計画するフレームワークである。強化学習と全身最適化を組み合わせることで,38関節の運動を生成する。シミュレーションと実世界の実験では、学習した動きが新しいタスクに効率的に適応できることが示されている。
論文参考訳（メタデータ） (2024-06-20T18:21:24Z)
RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
論文参考訳（メタデータ） (2024-02-22T15:12:00Z)
RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
論文参考訳（メタデータ） (2023-11-02T17:59:21Z)
Hierarchical generative modelling for autonomous robots [8.023920215148486]
人型ロボットが、移動、操作、把握の全体的利用を必要とする複雑なタスクを自律的に完了できることを示します。具体的には、箱を回収して輸送し、ドアを通り抜けて目的地に到達し、接近し、サッカーを蹴ることのできるヒューマノイドロボットの能力を示すとともに、身体の損傷や地面の不規則性の存在下で頑健な性能を示す。
論文参考訳（メタデータ） (2023-08-15T13:51:03Z)
RoboCat: A Self-Improving Generalist Agent for Robotic Manipulation [33.10577695383743]
ロボット操作のためのマルチタスク汎用エージェントRoboCatを提案する。このデータは、シミュレートされた本物のロボットアームから、さまざまな観察とアクションのセットでモーターコントロールスキルの大規模なレパートリーにまたがる。 RoboCatでは、ゼロショットだけでなく、100-1000例のみを用いて適応することで、新しいタスクやロボットに一般化する能力を実証する。
論文参考訳（メタデータ） (2023-06-20T17:35:20Z)
Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文参考訳（メタデータ） (2023-03-02T18:51:38Z)
ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文参考訳（メタデータ） (2022-09-22T20:29:49Z)
Co-Evolution of Multi-Robot Controllers and Task Cues for Off-World Open Pit Mining [0.6091702876917281]
本稿では,マルチロボット掘削とサイト準備のシナリオにおいて,スケーラブルなコントローラを開発するための新しい手法を提案する。コントローラは空白のスレートから始まり、人間による操作スクリプトや、掘削機の運動学や力学の詳細なモデリングを必要としない。本稿では,テンプレートとタスクキューを用いてグループパフォーマンスをさらに向上し,アンタゴニティを最小化する方法について検討する。
論文参考訳（メタデータ） (2020-09-19T03:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。