論文の概要: QuadrupedGPT: Towards a Versatile Quadruped Agent in Open-ended Worlds
- arxiv url: http://arxiv.org/abs/2406.16578v1
- Date: Mon, 24 Jun 2024 12:14:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 14:54:27.354908
- Title: QuadrupedGPT: Towards a Versatile Quadruped Agent in Open-ended Worlds
- Title（参考訳）: 四重化GPT:オープンエンド世界における四重化エージェントを目指して
- Authors: Ye Wang, Yuting Mei, Sipeng Zheng, Qin Jin,
- Abstract要約: QuadrupedGPTは、幅広い複雑なタスクを、ペットに匹敵する俊敏性でマスターするように設計された汎用エージェントである。
我々のエージェントは、大規模マルチモーダルモデル(LMM)を用いて、人間の命令と環境コンテキストを処理する。
長期的な目標を実行可能なサブゴールのシーケンスに分解できる問題解決機能を備えている。
- 参考スコア（独自算出の注目度）: 51.05639500325598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While pets offer companionship, their limited intelligence restricts advanced reasoning and autonomous interaction with humans. Considering this, we propose QuadrupedGPT, a versatile agent designed to master a broad range of complex tasks with agility comparable to that of a pet. To achieve this goal, the primary challenges include: i) effectively leveraging multimodal observations for decision-making; ii) mastering agile control of locomotion and path planning; iii) developing advanced cognition to execute long-term objectives. QuadrupedGPT processes human command and environmental contexts using a large multimodal model (LMM). Empowered by its extensive knowledge base, our agent autonomously assigns appropriate parameters for adaptive locomotion policies and guides the agent in planning a safe but efficient path towards the goal, utilizing semantic-aware terrain analysis. Moreover, QuadrupedGPT is equipped with problem-solving capabilities that enable it to decompose long-term goals into a sequence of executable subgoals through high-level reasoning. Extensive experiments across various benchmarks confirm that QuadrupedGPT can adeptly handle multiple tasks with intricate instructions, demonstrating a significant step towards the versatile quadruped agents in open-ended worlds. Our website and codes can be found at https://quadruped-hub.github.io/Quadruped-GPT/.
- Abstract（参考訳）: ペットは仲間シップを提供するが、その限られた知性は高度な推論と人間との自律的な相互作用を制限する。
そこで本研究では,ペットに匹敵する俊敏性を備えた多種多様な複雑なタスクを習得する汎用エージェントであるQuadrupedGPTを提案する。
この目標を達成するために、主な課題は以下のとおりである。
一 意思決定にマルチモーダルな観察を効果的に活用すること。
二 移動及び経路計画のアジャイル制御を習得すること。
三 長期的な目的を遂行するための先進的な認知の発達
QuadrupedGPTは、大規模なマルチモーダルモデル(LMM)を用いて、人間の命令と環境コンテキストを処理する。
我々のエージェントは、その広範な知識ベースを生かし、適応的な移動ポリシーの適切なパラメータを自律的に割り当て、セマンティック・アウェアな地形解析を利用して、目標に向かって安全かつ効率的な経路を計画するエージェントを誘導する。
さらに、QuadrupedGPTは、高レベルの推論により、長期目標を実行可能なサブゴールのシーケンスに分解できる問題解決機能を備えている。
様々なベンチマークにわたる大規模な実験により、QuadrupedGPTは複雑な命令で複数のタスクを順応的に処理できることが確認され、オープンエンドの世界における多目的な四重化エージェントへの大きな一歩が示される。
私たちのWebサイトとコードは、https://quadruped-hub.github.io/Quadruped-GPT/で確認できます。
関連論文リスト
- Learning Multi-Agent Loco-Manipulation for Long-Horizon Quadrupedal Pushing [33.689150109924526]
本稿では,複数の四足歩行ロボットによる障害物対応長軸プッシュの課題に取り組む。
階層型多エージェント強化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-11T16:27:25Z) - Spatial Reasoning and Planning for Deep Embodied Agents [2.7195102129095003]
この論文は空間的推論と計画タスクのためのデータ駆動手法の開発を探求する。
学習効率、解釈可能性、新しいシナリオ間の伝達可能性の向上に重点を置いている。
論文 参考訳（メタデータ） (2024-09-28T23:05:56Z) - Look Further Ahead: Testing the Limits of GPT-4 in Path Planning [9.461626534488117]
大きな言語モデル(LLM)は、様々なタスクで印象的な機能を示している。
提案するベンチマークは,複雑な環境でのパス計画スキルを体系的にテストする。
フレーミングはPythonのコードとして促進され、長い軌道上のタスクを分解することで、GPT-4の経路計画の有効性が向上することがわかった。
論文 参考訳（メタデータ） (2024-06-17T18:12:56Z) - MP5: A Multi-modal Open-ended Embodied System in Minecraft via Active Perception [53.20509532671891]
MP5は、Minecraftシミュレーター上に構築された、オープンなマルチモーダルエンボディシステムである。
実現可能なサブオブジェクトを分解し、洗練された状況対応プランを設計し、実施可能なアクション制御を実行する。
論文 参考訳（メタデータ） (2023-12-12T17:55:45Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳（メタデータ） (2023-11-14T21:46:27Z) - Multi-Level Compositional Reasoning for Interactive Instruction
Following [24.581542880280203]
多レベル合成共鳴剤(MCR-Agent)
最上位レベルでは、高レベルポリシー構成制御器による言語命令に基づいて、人間の解釈可能なサブゴールのシーケンスを推測する。
中間レベルでは、ナビゲーションポリシーと様々な独立したインタラクションポリシーを交互に切り替えることで、エージェントのナビゲーションをマスターポリシーで識別的に制御する。
最も低いレベルでは、適切なインタラクションポリシーを用いて、対応するオブジェクトマスクによる操作動作を推論する。
論文 参考訳（メタデータ） (2023-08-18T08:38:28Z) - AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot
Manipulation [50.737355245505334]
本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。
得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
論文 参考訳（メタデータ） (2023-05-30T09:54:20Z) - Planning-oriented Autonomous Driving [60.93767791255728]
我々は、最終目標、すなわち自動運転車の計画を追求するために、好ましいフレームワークを考案し、最適化すべきであると主張している。
フルスタック運転タスクをひとつのネットワークに組み込んだ総合的なフレームワークであるUnified Autonomous Driving (UniAD)を紹介した。
論文 参考訳（メタデータ） (2022-12-20T10:47:53Z) - Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。
エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。
そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。
提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
論文 参考訳（メタデータ） (2020-06-17T03:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。