論文の概要: EnvBridge: Bridging Diverse Environments with Cross-Environment Knowledge Transfer for Embodied AI

• arxiv url: http://arxiv.org/abs/2410.16919v1
• Date: Tue, 22 Oct 2024 11:52:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:46.875441
• Title: EnvBridge: Bridging Diverse Environments with Cross-Environment Knowledge Transfer for Embodied AI
• Title（参考訳）: EnvBridge: エンボダイドAIのためのクロス環境知識伝達による異種環境のブリッジ
• Authors: Tomoyuki Kagaya, Yuxuan Lou, Thong Jing Yuan, Subramanian Lakshmi, Jayashree Karlekar, Sugiri Pranata, Natsuki Murakami, Akira Kinose, Koki Oguri, Felix Wick, Yang You,
• Abstract要約: 大規模言語モデル(LLM)は、ロボットのためのテキスト計画や制御コードを生成することができる。 これらの手法は、異なる環境にまたがる柔軟性と適用性の観点からも、依然として課題に直面している。 本稿では,ロボット操作エージェントの適応性と堅牢性を高めるために,EnvBridgeを提案する。
• 参考スコア（独自算出の注目度）: 7.040779338576156
• License:
• Abstract: In recent years, Large Language Models (LLMs) have demonstrated high reasoning capabilities, drawing attention for their applications as agents in various decision-making processes. One notably promising application of LLM agents is robotic manipulation. Recent research has shown that LLMs can generate text planning or control code for robots, providing substantial flexibility and interaction capabilities. However, these methods still face challenges in terms of flexibility and applicability across different environments, limiting their ability to adapt autonomously. Current approaches typically fall into two categories: those relying on environment-specific policy training, which restricts their transferability, and those generating code actions based on fixed prompts, which leads to diminished performance when confronted with new environments. These limitations significantly constrain the generalizability of agents in robotic manipulation. To address these limitations, we propose a novel method called EnvBridge. This approach involves the retention and transfer of successful robot control codes from source environments to target environments. EnvBridge enhances the agent's adaptability and performance across diverse settings by leveraging insights from multiple environments. Notably, our approach alleviates environmental constraints, offering a more flexible and generalizable solution for robotic manipulation tasks. We validated the effectiveness of our method using robotic manipulation benchmarks: RLBench, MetaWorld, and CALVIN. Our experiments demonstrate that LLM agents can successfully leverage diverse knowledge sources to solve complex tasks. Consequently, our approach significantly enhances the adaptability and robustness of robotic manipulation agents in planning across diverse environments.
• Abstract（参考訳）: 近年,Large Language Models (LLM) は高い推論能力を示し,様々な意思決定プロセスにおけるエージェントとしての利用に注意を向けている。 LLMエージェントの有望な応用の1つは、ロボット操作である。 近年の研究では、LLMはロボットのテキストプランニングや制御コードを生成することができ、柔軟性と対話性を実現することが示されている。 しかし、これらの手法は異なる環境にまたがって柔軟性と適用性の観点からも課題に直面しており、自律的に適応する能力は制限されている。 現在のアプローチは通常、2つのカテゴリに分類される: 環境固有のポリシートレーニングに依存し、転送可能性を制限するもの、固定プロンプトに基づいたコードアクションを生成するもの、そして新しい環境に直面するとパフォーマンスが低下する。 これらの制限は、ロボット操作におけるエージェントの一般化性を著しく制限した。 これらの制約に対処するため,EnvBridgeと呼ばれる新しい手法を提案する。 このアプローチでは、ソース環境からターゲット環境へのロボット制御コードの保持と転送が成功している。 EnvBridgeは、さまざまな環境からの洞察を活用することで、エージェントの適応性とパフォーマンスを向上させる。 特に、我々のアプローチは環境制約を緩和し、ロボット操作タスクに対してより柔軟で一般化可能なソリューションを提供する。 ロボット操作ベンチマーク(RLBench, MetaWorld, CALVIN)を用いて本手法の有効性を検証した。 実験により, LLMエージェントは複雑なタスクを解くために, 多様な知識源をうまく活用できることが実証された。 その結果,ロボット操作エージェントの適応性と堅牢性は,多様な環境にまたがる計画において著しく向上した。

関連論文リスト

• Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
  大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。 本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。 ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
  論文  参考訳（メタデータ） (2024-08-06T01:20:12Z)
• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning [61.294110816231886]
  我々はスパース・リユース・フレキシブル・ポリシー、スパース・ディフュージョン・ポリシー(SDP)を導入する。 SDPは、エキスパートとスキルを選択的に活性化し、モデル全体をトレーニングすることなく、効率的でタスク固有の学習を可能にする。 デモとコードはhttps://forrest-110.io/sparse_diffusion_policy/にある。
  論文  参考訳（メタデータ） (2024-07-01T17:59:56Z)
• ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning [74.58666091522198]
  非専門家による直感的なロボットプログラミングのためのフレームワークを提案する。 ロボットオペレーティングシステム(ROS)からの自然言語のプロンプトと文脈情報を活用する 我々のシステムは,大規模言語モデル (LLM) を統合し,非専門家がチャットインタフェースを通じてシステムにタスク要求を記述できるようにする。
  論文  参考訳（メタデータ） (2024-06-28T08:28:38Z)
• Task and Domain Adaptive Reinforcement Learning for Robot Control [0.34137115855910755]
  課題や環境条件に応じて動的にポリシーを適応する新しい適応エージェントを提案する。 このエージェントはIsaacGym上に作られたカスタムで高度に並列化されたシミュレータを使って訓練されている。 実世界において、さまざまな課題を解くために、飛行飛行のためにゼロショット転送を行う。
  論文  参考訳（メタデータ） (2024-04-29T14:02:02Z)
• InCoRo: In-Context Learning for Robotics Control with Feedback Loops [4.702566749969133]
  InCoRoは、LLMコントローラ、シーン理解ユニット、ロボットからなる古典的なロボットフィードバックループを使用するシステムである。 システムの一般化能力を強調し,InCoRoが成功率において先行技術を上回ることを示す。 この研究は、動的環境に適応する信頼性があり、効率的でインテリジェントな自律システムを構築するための道を開いた。
  論文  参考訳（メタデータ） (2024-02-07T19:01:11Z)
• HAZARD Challenge: Embodied Decision Making in Dynamically Changing Environments [93.94020724735199]
  HAZARDは、火災、洪水、風などの3つの予期せぬ災害シナリオで構成されている。 このベンチマークにより、さまざまなパイプラインで自律エージェントの意思決定能力を評価することができる。
  論文  参考訳（メタデータ） (2024-01-23T18:59:43Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Language to Rewards for Robotic Skill Synthesis [37.21434094015743]
  我々は,大規模言語モデル(LLM)を利用して,様々なロボットタスクを最適化し,達成可能な報酬パラメータを定義する新しいパラダイムを提案する。 LLMが生成する中間インタフェースとして報酬を用いることで、ハイレベルな言語命令と修正のギャップを、低レベルなロボット動作に効果的に埋めることができる。
  論文  参考訳（メタデータ） (2023-06-14T17:27:10Z)
• Chat with the Environment: Interactive Multimodal Perception Using Large Language Models [19.623070762485494]
  大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。 本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
  論文  参考訳（メタデータ） (2023-03-14T23:01:27Z)
• Domain Randomization for Robust, Affordable and Effective Closed-loop Control of Soft Robots [10.977130974626668]
  ソフトロボットは、コンタクトや適応性に対する本質的な安全性によって人気を集めている。 本稿では、ソフトロボットのRLポリシーを強化することにより、ドメインランダム化(DR)がこの問題を解決する方法を示す。 本稿では,変形可能なオブジェクトに対する動的パラメータの自動推論のための,従来の適応的領域ランダム化手法に対する新しいアルゴリズム拡張を提案する。
  論文  参考訳（メタデータ） (2023-03-07T18:50:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。