論文の概要: QuadrupedGPT: Towards a Versatile Quadruped Agent in Open-ended Worlds
- arxiv url: http://arxiv.org/abs/2406.16578v2
- Date: Tue, 03 Dec 2024 03:49:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 21:11:20.824457
- Title: QuadrupedGPT: Towards a Versatile Quadruped Agent in Open-ended Worlds
- Title(参考訳): 四重化GPT:オープンエンド世界における四重化エージェントを目指して
- Authors: Yuting Mei, Ye Wang, Sipeng Zheng, Qin Jin,
- Abstract要約: ペットに匹敵するアジリティで多様なコマンドに従うように設計されたQuadrupedGPTを紹介します。
エージェントは多種多様なタスクを処理し,複雑な指示を行う能力を示し,多種多様四重化エージェントの開発に向けた重要な一歩である。
- 参考スコア(独自算出の注目度): 51.05639500325598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As robotic agents increasingly assist humans in reality, quadruped robots offer unique opportunities for interaction in complex scenarios due to their agile movement. However, building agents that can autonomously navigate, adapt, and respond to versatile goals remains a significant challenge. In this work, we introduce QuadrupedGPT designed to follow diverse commands with agility comparable to that of a pet. The primary challenges addressed include: i) effectively utilizing multimodal observations for informed decision-making; ii) achieving agile control by integrating locomotion and navigation; iii) developing advanced cognition to execute long-term objectives. Our QuadrupedGPT interprets human commands and environmental contexts using a large multimodal model. Leveraging its extensive knowledge base, the agent autonomously assigns parameters for adaptive locomotion policies and devises safe yet efficient paths toward its goals. Additionally, it employs high-level reasoning to decompose long-term goals into a sequence of executable subgoals. Through comprehensive experiments, our agent shows proficiency in handling diverse tasks and intricate instructions, representing a significant step toward the development of versatile quadruped agents for open-ended environments.
- Abstract(参考訳): ロボットエージェントが現実の人間を助けるようになるにつれ、四足ロボットはアジャイルの動きによって複雑なシナリオで対話するユニークな機会を提供する。
しかし、自律的にナビゲートし、適応し、多目的な目標に反応できるエージェントを構築することは、依然として重要な課題である。
本研究では,ペットに匹敵する俊敏性を備えた多種多様なコマンドに従うように設計されたQuadrupedGPTを紹介する。
主な課題は以下のとおりである。
一 情報的意思決定にマルチモーダルな観察を効果的に活用すること。
二 移動と航法を統合することにより、アジャイル制御を達成すること。
三 長期的な目的を遂行するための先進的な認知の発達
我々のQuadrupedGPTは、大規模なマルチモーダルモデルを用いて、人間の命令と環境コンテキストを解釈する。
エージェントは、その広範な知識ベースを活用して、適応的な移動ポリシーのパラメータを自律的に割り当て、安全で効率的な経路を目標に向けて考案する。
さらに、長期目標を実行可能なサブゴールの列に分解するために、高レベルの推論を用いる。
総合的な実験を通して,多種多様なタスクの処理能力と複雑な指示能力を示し,オープンエンド環境のための多目的四重化エージェントの開発に向けた重要なステップを示す。
関連論文リスト
- REMAC: Self-Reflective and Self-Evolving Multi-Agent Collaboration for Long-Horizon Robot Manipulation [57.628771707989166]
本稿では,ReMACと呼ばれる適応型マルチエージェント計画フレームワークを提案する。
ReMACには2つの重要なモジュールが組み込まれており、ループ内で事前条件と後条件チェックを実行し、進捗と計画の洗練を評価する。
論文 参考訳(メタデータ) (2025-03-28T03:51:40Z) - Learning Multi-Agent Loco-Manipulation for Long-Horizon Quadrupedal Pushing [33.689150109924526]
本稿では,複数の四足歩行ロボットによる障害物対応長軸プッシュの課題に取り組む。
階層型多エージェント強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-11T16:27:25Z) - Spatial Reasoning and Planning for Deep Embodied Agents [2.7195102129095003]
この論文は空間的推論と計画タスクのためのデータ駆動手法の開発を探求する。
学習効率、解釈可能性、新しいシナリオ間の伝達可能性の向上に重点を置いている。
論文 参考訳(メタデータ) (2024-09-28T23:05:56Z) - Grounding Language Models in Autonomous Loco-manipulation Tasks [3.8363685417355557]
異なるシナリオにおけるタスクに基づいて行動を学び、選択し、計画する新しいフレームワークを提案する。
我々は,大規模言語モデル(LLM)の計画と推論機能を活用し,階層的なタスクグラフを構築する。
CENTAUROロボットを用いたシミュレーションおよび実世界の実験により、言語モデルに基づくプランナーが、新しいロコ操作タスクに効率的に適応できることが示されている。
論文 参考訳(メタデータ) (2024-09-02T15:27:48Z) - Look Further Ahead: Testing the Limits of GPT-4 in Path Planning [9.461626534488117]
大きな言語モデル(LLM)は、様々なタスクで印象的な機能を示している。
提案するベンチマークは,複雑な環境でのパス計画スキルを体系的にテストする。
フレーミングはPythonのコードとして促進され、長い軌道上のタスクを分解することで、GPT-4の経路計画の有効性が向上することがわかった。
論文 参考訳(メタデータ) (2024-06-17T18:12:56Z) - MP5: A Multi-modal Open-ended Embodied System in Minecraft via Active Perception [53.20509532671891]
MP5は、Minecraftシミュレーター上に構築された、オープンなマルチモーダルエンボディシステムである。
実現可能なサブオブジェクトを分解し、洗練された状況対応プランを設計し、実施可能なアクション制御を実行する。
論文 参考訳(メタデータ) (2023-12-12T17:55:45Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - Learning Diverse Skills for Local Navigation under Multi-constraint
Optimality [27.310655303502305]
本研究では,品質と多様性のトレードオフについて,制約付き最適化の観点から考察する。
我々は、異なる報酬によって定義される値関数に制約を課しながら、多様なポリシーを得ることができることを示す。
訓練されたポリシーは、本物の12-DoFの四足歩行ロボットSolo12によく伝達される。
論文 参考訳(メタデータ) (2023-10-03T21:21:21Z) - RoboAgent: Generalization and Efficiency in Robot Manipulation via
Semantic Augmentations and Action Chunking [54.776890150458385]
マルチタスク操作能力を持つユニバーサルエージェントを訓練するための効率的なシステムを開発した。
私たちは、12のスキルを持つ1つのエージェントを訓練することができ、38のタスクでその一般化を実証することができます。
平均すると、RoboAgentは目に見えない状況において、従来の方法よりも40%以上性能が高い。
論文 参考訳(メタデータ) (2023-09-05T03:14:39Z) - Multi-Level Compositional Reasoning for Interactive Instruction
Following [24.581542880280203]
多レベル合成共鳴剤(MCR-Agent)
最上位レベルでは、高レベルポリシー構成制御器による言語命令に基づいて、人間の解釈可能なサブゴールのシーケンスを推測する。
中間レベルでは、ナビゲーションポリシーと様々な独立したインタラクションポリシーを交互に切り替えることで、エージェントのナビゲーションをマスターポリシーで識別的に制御する。
最も低いレベルでは、適切なインタラクションポリシーを用いて、対応するオブジェクトマスクによる操作動作を推論する。
論文 参考訳(メタデータ) (2023-08-18T08:38:28Z) - AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot
Manipulation [50.737355245505334]
本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。
得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
論文 参考訳(メタデータ) (2023-05-30T09:54:20Z) - Robust and Versatile Bipedal Jumping Control through Reinforcement
Learning [141.56016556936865]
この研究は、トルク制御された二足歩行ロボットが実世界で頑丈で多目的なダイナミックジャンプを行えるようにすることで、二足歩行ロボットの機敏さの限界を推し進めることを目的としている。
本稿では,ロボットが様々な場所や方向へジャンプするなど,さまざまなジャンプタスクを達成するための強化学習フレームワークを提案する。
我々は,ロボットの長期入出力(I/O)履歴を符号化し,短期I/O履歴への直接アクセスを可能にする新しいポリシー構造を開発する。
論文 参考訳(メタデータ) (2023-02-19T01:06:09Z) - Planning-oriented Autonomous Driving [60.93767791255728]
我々は、最終目標、すなわち自動運転車の計画を追求するために、好ましいフレームワークを考案し、最適化すべきであると主張している。
フルスタック運転タスクをひとつのネットワークに組み込んだ総合的なフレームワークであるUnified Autonomous Driving (UniAD)を紹介した。
論文 参考訳(メタデータ) (2022-12-20T10:47:53Z) - Planning Immediate Landmarks of Targets for Model-Free Skill Transfer
across Agents [34.56191646231944]
我々はPILoT、即時ターゲットのランドマーク計画を提案する。
PILoTはゴール条件のステートプランナーを学習し、ゴールプランナーを蒸留してモデルなしのスタイルで即時ランドマークを計画する。
PILoTは,アクション空間やダイナミックスを横断する数発のショット転送など,様々なトランスファーの課題に対して有効であることを示す。
論文 参考訳(メタデータ) (2022-12-18T08:03:21Z) - Evolving Hierarchical Memory-Prediction Machines in Multi-Task
Reinforcement Learning [4.030910640265943]
行動エージェントは、時間とともに様々な環境や目的にまたがって一般化されなければならない。
遺伝的プログラミングを用いて、制御文献から6つのユニークな環境で動作可能な、高度に一般化されたエージェントを進化させる。
進化するプログラムにおける創発的階層構造は、時間分解とメモリ上の問題環境の符号化を成功させるマルチタスクエージェントをもたらすことを示す。
論文 参考訳(メタデータ) (2021-06-23T21:34:32Z) - Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。
エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。
そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。
提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
論文 参考訳(メタデータ) (2020-06-17T03:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。