論文の概要: QuadrupedGPT: Towards a Versatile Quadruped Agent in Open-ended Worlds

• arxiv url: http://arxiv.org/abs/2406.16578v1
• Date: Mon, 24 Jun 2024 12:14:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:54:27.354908
• Title: QuadrupedGPT: Towards a Versatile Quadruped Agent in Open-ended Worlds
• Title（参考訳）: 四重化GPT:オープンエンド世界における四重化エージェントを目指して
• Authors: Ye Wang, Yuting Mei, Sipeng Zheng, Qin Jin,
• Abstract要約: QuadrupedGPTは、幅広い複雑なタスクを、ペットに匹敵する俊敏性でマスターするように設計された汎用エージェントである。 我々のエージェントは、大規模マルチモーダルモデル(LMM)を用いて、人間の命令と環境コンテキストを処理する。 長期的な目標を実行可能なサブゴールのシーケンスに分解できる問題解決機能を備えている。
• 参考スコア（独自算出の注目度）: 51.05639500325598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While pets offer companionship, their limited intelligence restricts advanced reasoning and autonomous interaction with humans. Considering this, we propose QuadrupedGPT, a versatile agent designed to master a broad range of complex tasks with agility comparable to that of a pet. To achieve this goal, the primary challenges include: i) effectively leveraging multimodal observations for decision-making; ii) mastering agile control of locomotion and path planning; iii) developing advanced cognition to execute long-term objectives. QuadrupedGPT processes human command and environmental contexts using a large multimodal model (LMM). Empowered by its extensive knowledge base, our agent autonomously assigns appropriate parameters for adaptive locomotion policies and guides the agent in planning a safe but efficient path towards the goal, utilizing semantic-aware terrain analysis. Moreover, QuadrupedGPT is equipped with problem-solving capabilities that enable it to decompose long-term goals into a sequence of executable subgoals through high-level reasoning. Extensive experiments across various benchmarks confirm that QuadrupedGPT can adeptly handle multiple tasks with intricate instructions, demonstrating a significant step towards the versatile quadruped agents in open-ended worlds. Our website and codes can be found at https://quadruped-hub.github.io/Quadruped-GPT/.
• Abstract（参考訳）: ペットは仲間シップを提供するが、その限られた知性は高度な推論と人間との自律的な相互作用を制限する。 そこで本研究では,ペットに匹敵する俊敏性を備えた多種多様な複雑なタスクを習得する汎用エージェントであるQuadrupedGPTを提案する。 この目標を達成するために、主な課題は以下のとおりである。 一 意思決定にマルチモーダルな観察を効果的に活用すること。 二 移動及び経路計画のアジャイル制御を習得すること。 三 長期的な目的を遂行するための先進的な認知の発達 QuadrupedGPTは、大規模なマルチモーダルモデル(LMM)を用いて、人間の命令と環境コンテキストを処理する。 我々のエージェントは、その広範な知識ベースを生かし、適応的な移動ポリシーの適切なパラメータを自律的に割り当て、セマンティック・アウェアな地形解析を利用して、目標に向かって安全かつ効率的な経路を計画するエージェントを誘導する。 さらに、QuadrupedGPTは、高レベルの推論により、長期目標を実行可能なサブゴールのシーケンスに分解できる問題解決機能を備えている。 様々なベンチマークにわたる大規模な実験により、QuadrupedGPTは複雑な命令で複数のタスクを順応的に処理できることが確認され、オープンエンドの世界における多目的な四重化エージェントへの大きな一歩が示される。 私たちのWebサイトとコードは、https://quadruped-hub.github.io/Quadruped-GPT/で確認できます。

関連論文リスト

• Look Further Ahead: Testing the Limits of GPT-4 in Path Planning [9.461626534488117]
  大きな言語モデル(LLM)は、様々なタスクで印象的な機能を示している。 提案するベンチマークは,複雑な環境でのパス計画スキルを体系的にテストする。 フレーミングはPythonのコードとして促進され、長い軌道上のタスクを分解することで、GPT-4の経路計画の有効性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-17T18:12:56Z)
• MP5: A Multi-modal Open-ended Embodied System in Minecraft via Active Perception [53.20509532671891]
  MP5は、Minecraftシミュレーター上に構築された、オープンなマルチモーダルエンボディシステムである。 実現可能なサブオブジェクトを分解し、洗練された状況対応プランを設計し、実施可能なアクション制御を実行する。
  論文  参考訳（メタデータ） (2023-12-12T17:55:45Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
  大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。 アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。 この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• Octopus: Embodied Vision-Language Programmer from Environmental Feedback [59.772904419928054]
  大規模視覚言語モデル (VLM) はマルチモーダル認識と推論において大きな進歩を遂げた。 本稿では,エージェントの視覚とテキストタスクの目的を正確に解読する新しいVLMであるOctopusを紹介する。 我々の設計では、シミュレーターの日常的な雑用から複雑なビデオゲームの高度なインタラクションまで、エージェントは幅広いタスクを十分に扱えるようにしている。
  論文  参考訳（メタデータ） (2023-10-12T17:59:58Z)
• Multi-Level Compositional Reasoning for Interactive Instruction Following [24.581542880280203]
  多レベル合成共鳴剤(MCR-Agent) 最上位レベルでは、高レベルポリシー構成制御器による言語命令に基づいて、人間の解釈可能なサブゴールのシーケンスを推測する。 中間レベルでは、ナビゲーションポリシーと様々な独立したインタラクションポリシーを交互に切り替えることで、エージェントのナビゲーションをマスターポリシーで識別的に制御する。 最も低いレベルでは、適切なインタラクションポリシーを用いて、対応するオブジェクトマスクによる操作動作を推論する。
  論文  参考訳（メタデータ） (2023-08-18T08:38:28Z)
• AlphaBlock: Embodied Finetuning for Vision-Language Reasoning in Robot Manipulation [50.737355245505334]
  本稿では,ロボット操作タスクにおける高レベル認知能力を学習するための新しいフレームワークを提案する。 得られたデータセットAlphaBlockは、多段階のテキストプランとペア観測による35の包括的なハイレベルタスクで構成されている。
  論文  参考訳（メタデータ） (2023-05-30T09:54:20Z)
• Planning Goals for Exploration [22.047797646698527]
  Planning Exploratory Goals(PEG)は,本質的な探索報酬を直接最適化する訓練エピソード毎の目標を設定する手法である。 PEGは世界モデルを学び、サンプリングベースの計画アルゴリズムを適用して"目標コマンドを計画"する
  論文  参考訳（メタデータ） (2023-03-23T02:51:50Z)
• Planning-oriented Autonomous Driving [60.93767791255728]
  我々は、最終目標、すなわち自動運転車の計画を追求するために、好ましいフレームワークを考案し、最適化すべきであると主張している。 フルスタック運転タスクをひとつのネットワークに組み込んだ総合的なフレームワークであるUnified Autonomous Driving (UniAD)を紹介した。
  論文  参考訳（メタデータ） (2022-12-20T10:47:53Z)
• Planning Immediate Landmarks of Targets for Model-Free Skill Transfer across Agents [34.56191646231944]
  我々はPILoT、即時ターゲットのランドマーク計画を提案する。 PILoTはゴール条件のステートプランナーを学習し、ゴールプランナーを蒸留してモデルなしのスタイルで即時ランドマークを計画する。 PILoTは,アクション空間やダイナミックスを横断する数発のショット転送など,様々なトランスファーの課題に対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-18T08:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。