論文の概要: GRAPPA: Generalizing and Adapting Robot Policies via Online Agentic Guidance

• arxiv url: http://arxiv.org/abs/2410.06473v3
• Date: Tue, 08 Apr 2025 16:32:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:26:01.348643
• Title: GRAPPA: Generalizing and Adapting Robot Policies via Online Agentic Guidance
• Title（参考訳）: GRAPPA:オンラインエージェントガイダンスによるロボットポリシーの一般化と適応
• Authors: Arthur Bucker, Pablo Ortega-Kral, Jonathan Francis, Jean Oh,
• Abstract要約: 本稿では,ロボットによる自己指導と自己改善のためのエージェントフレームワークを提案する。 本フレームワークは,環境中の関連オブジェクトに対して,ベースロボットポリシーを反復的に適用する。 弊社のアプローチは、操作ポリシーを効果的にガイドし、成功率を大幅に向上させることを実証する。
• 参考スコア（独自算出の注目度）: 15.774237279917594
• License:
• Abstract: Robot learning approaches such as behavior cloning and reinforcement learning have shown great promise in synthesizing robot skills from human demonstrations in specific environments. However, these approaches often require task-specific demonstrations or designing complex simulation environments, which limits the development of generalizable and robust policies for unseen real-world settings. Recent advances in the use of foundation models for robotics (e.g., LLMs, VLMs) have shown great potential in enabling systems to understand the semantics in the world from large-scale internet data. However, it remains an open challenge to use this knowledge to enable robotic systems to understand the underlying dynamics of the world, to generalize policies across different tasks, and to adapt policies to new environments. To alleviate these limitations, we propose an agentic framework for robot self-guidance and self-improvement, which consists of a set of role-specialized conversational agents, such as a high-level advisor, a grounding agent, a monitoring agent, and a robotic agent. Our framework iteratively grounds a base robot policy to relevant objects in the environment and uses visuomotor cues to shift the action distribution of the policy to more desirable states, online, while remaining agnostic to the subjective configuration of a given robot hardware platform. We demonstrate that our approach can effectively guide manipulation policies to achieve significantly higher success rates, both in simulation and in real-world experiments, without the need for additional human demonstrations or extensive exploration. Code and videos available at: https://agenticrobots.github.io
• Abstract（参考訳）: 行動クローニングや強化学習といったロボット学習アプローチは、特定の環境における人間の実演からロボットスキルを合成する上で非常に有望である。 しかしながら、これらのアプローチは、しばしばタスク固有のデモンストレーションや複雑なシミュレーション環境の設計を必要とする。 近年、ロボット工学の基礎モデル(LLM、VLMなど)の利用は、大規模インターネットデータから世界の意味を理解できるようになる大きな可能性を示している。 しかし、ロボットシステムが世界の基盤となるダイナミクスを理解し、異なるタスクにまたがるポリシーを一般化し、新しい環境にポリシーを適用するために、この知識を使用することは、依然としてオープンな課題である。 これらの制約を緩和するために,ロボットの自己指導と自己改善のためのエージェントフレームワークを提案する。 本フレームワークは,環境中の対象物に対する基本的ロボットポリシーを反復的に構築し,ロボットハードウェアプラットフォームの主観的構成に依存したまま,より望ましい状態にポリシーの行動分布をシフトさせる。 提案手法は,シミュレーションと実世界の実験の両方において,人体実験や広範囲な探査を必要とせず,極めて高い成功率を達成するための操作ポリシーを効果的に導出できることを実証する。 コードとビデオは、https://agenticrobots.github.ioで公開されている。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• A Survey on Robotics with Foundation Models: toward Embodied AI [30.999414445286757]
  近年のコンピュータビジョン,自然言語処理,マルチモーダリティ学習の進歩は,基礎モデルが特定のタスクに対して超人的能力を持つことを示している。 この調査は、ロボット工学の基礎モデルの包括的で最新の概要を提供し、自律的な操作に焦点を当て、高レベルの計画と低レベルの制御を包含することを目的としている。
  論文  参考訳（メタデータ） (2024-02-04T07:55:01Z)
• RoboGen: Towards Unleashing Infinite Data for Automated Robot Learning via Generative Simulation [68.70755196744533]
  RoboGenはジェネレーティブなロボットエージェントで、ジェネレーティブなシミュレーションを通じて、さまざまなロボットのスキルを自動的に学習する。 我々の研究は、大規模モデルに埋め込まれた広範囲で多目的な知識を抽出し、それらをロボット工学の分野に移す試みである。
  論文  参考訳（メタデータ） (2023-11-02T17:59:21Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
  ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。 我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。 われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-05-10T16:25:42Z)
• Dual-Arm Adversarial Robot Learning [0.6091702876917281]
  ロボット学習のためのプラットフォームとしてデュアルアーム設定を提案する。 このセットアップの潜在的なメリットと、追求できる課題と研究の方向性について論じる。
  論文  参考訳（メタデータ） (2021-10-15T12:51:57Z)
• Low Dimensional State Representation Learning with Robotics Priors in Continuous Action Spaces [8.692025477306212]
  強化学習アルゴリズムは、エンドツーエンドで複雑なロボティクスタスクを解くことができることが証明されている。 本稿では,ロボットの生の知覚情報から得られる高次元の観察から,低次元状態表現の学習と最適ポリシーの学習を組み合わせた枠組みを提案する。
  論文  参考訳（メタデータ） (2021-07-04T15:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。