論文の概要: Self-Recovery Prompting: Promptable General Purpose Service Robot System
with Foundation Models and Self-Recovery
- arxiv url: http://arxiv.org/abs/2309.14425v1
- Date: Mon, 25 Sep 2023 18:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 16:25:08.002914
- Title: Self-Recovery Prompting: Promptable General Purpose Service Robot System
with Foundation Models and Self-Recovery
- Title（参考訳）: 自己回復プロンプト:基礎モデルと自己回復機能を備えた簡易型汎用サービスロボットシステム
- Authors: Mimo Shirasaka, Tatsuya Matsushima, Soshi Tsunashima, Yuya Ikeda, Aoi
Horo, So Ikoma, Chikaha Tsuji, Hikaru Wada, Tsunekazu Omija, Dai Komukai,
Yutaka Matsuo Yusuke Iwasawa
- Abstract要約: 汎用サービスロボット(GPSR)は,様々な環境において多様なタスクを実行できる。
我々はまず,複数の基礎モデルに基づく世界競争のためのトップレベルGPSRシステム(RoboCup@Home 2023)を開発した。
本稿では、必要な情報を探索し、障害から回復するためのプロンプトを変更する自己回復プロンプトパイプラインを提案する。
- 参考スコア（独自算出の注目度）: 1.2900354046626057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A general-purpose service robot (GPSR), which can execute diverse tasks in
various environments, requires a system with high generalizability and
adaptability to tasks and environments. In this paper, we first developed a
top-level GPSR system for worldwide competition (RoboCup@Home 2023) based on
multiple foundation models. This system is both generalizable to variations and
adaptive by prompting each model. Then, by analyzing the performance of the
developed system, we found three types of failure in more realistic GPSR
application settings: insufficient information, incorrect plan generation, and
plan execution failure. We then propose the self-recovery prompting pipeline,
which explores the necessary information and modifies its prompts to recover
from failure. We experimentally confirm that the system with the self-recovery
mechanism can accomplish tasks by resolving various failure cases.
Supplementary videos are available at https://sites.google.com/view/srgpsr .
- Abstract（参考訳）: 様々な環境において多様なタスクを実行できる汎用サービスロボット(GPSR)は、タスクや環境に高い汎用性と適応性を持つシステムを必要とする。
本稿では,複数の基礎モデルに基づく世界競争のためのトップレベルGPSRシステム(RoboCup@Home 2023)を最初に開発した。
このシステムは変分に一般化可能であり、各モデルに適応する。
そして,本システムの性能解析により,より現実的なGPSRアプリケーション設定において,不十分な情報,誤った計画生成,計画実行失敗の3種類の障害が見つかった。
次に,必要な情報を探索し,障害から回復するためのプロンプトを変更する自己回復型プロンプトパイプラインを提案する。
自己回復機構を有するシステムが様々な障害事例を解決してタスクを遂行できることを実験的に確認した。
補足ビデオはhttps://sites.google.com/view/srgpsrで閲覧できる。
関連論文リスト
- $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。
我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
論文 参考訳（メタデータ） (2024-10-31T17:22:30Z) - Creating and Repairing Robot Programs in Open-World Domains [8.93008148936798]
本稿では,プログラムの実行をエラーまで追跡し,繰り返し動作を最小限に抑えるLLM生成リカバリプログラムを実行するシステムを提案する。
我々は、回復プログラムの生成を必要とする様々なエラー条件を持つ11のタスクからなるベンチマークを作成する。
回収プログラムの効率を将来のエラーを予知する託宣で構築した計画と比較する。
論文 参考訳（メタデータ） (2024-10-24T16:30:14Z) - Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [65.23793829741014]
Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。
コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。
Embodied-RAGがRAGをロボット領域に効果的にブリッジし、200以上の説明とナビゲーションクエリをうまく処理できることを実証する。
論文 参考訳（メタデータ） (2024-09-26T21:44:11Z) - Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。
現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。
本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
論文 参考訳（メタデータ） (2024-07-02T21:00:30Z) - ROBUST: 221 Bugs in the Robot Operating System [0.256557617522405]
私たちは、人気があり多様な7つのソフトウェアシステムにまたがって、221のバグのデータセットを体系的にキュレートしました。
私たちは、Dockerイメージという形で、221の欠陥のあるソフトウェアバージョンを、歴史的に正確なレクリエーションを作成しています。
基礎理論のアプローチを使用して、対応する障害、障害、修正を調べ、分類します。
論文 参考訳（メタデータ） (2024-04-04T17:49:38Z) - RH20T-P: A Primitive-Level Robotic Dataset Towards Composable Generalization Agents [107.97394661147102]
ロボット学習の最終的な目標は、包括的で一般化可能なロボットシステムを取得することである。
言語モデルを高レベルプランナとして活用する最近の進歩は,タスクをプリミティブレベルプランに分解することで,タスクの複雑さを低減できることを実証している。
将来性はあるものの、コミュニティはまだ構成可能な一般化エージェントに十分な準備が整っていない。
論文 参考訳（メタデータ） (2024-03-28T17:42:54Z) - AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic Agents [109.3804962220498]
AutoRTは、人間の監督を最小限に抑えて、完全に見えないシナリオで運用ロボットの展開をスケールアップするシステムである。
われわれはAutoRTが複数の建物にまたがる20以上のロボットに指示を提示し、遠隔操作と自律ロボットポリシーを通じて77万個の実ロボットエピソードを収集するデモを行った。
実験により,AutoRTが収集した「未使用データ」は極めて多種多様であり,AutoRTのLLMを使用することで,人間の好みに合わせることができるデータ収集ロボットの指示が可能であることを実証した。
論文 参考訳（メタデータ） (2024-01-23T18:45:54Z) - Seven Failure Points When Engineering a Retrieval Augmented Generation
System [1.8776685617612472]
RAGシステムは,大規模言語モデルからの幻覚応答の問題を解決することを目的としている。
RAGシステムは情報検索システム固有の制限に悩まされている。
本稿では3つのケーススタディからRAGシステムの故障点について報告する。
論文 参考訳（メタデータ） (2024-01-11T12:04:11Z) - Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis [82.59451639072073]
汎用ロボットはどんな環境でも、どんな物体でもシームレスに動作し、様々なスキルを使って様々なタスクをこなす。
コミュニティとしては、特定のタスク用に設計し、特定のデータセットでトレーニングし、特定の環境にデプロイすることで、ほとんどのロボットシステムを制約してきました。
ウェブスケールで大規模で大容量の事前学習型モデルの優れたオープンセット性能とコンテンツ生成能力に感銘を受けて,本調査は,汎用ロボティクスに基礎モデルを適用する方法について検討した。
論文 参考訳（メタデータ） (2023-12-14T10:02:55Z) - Collective Intelligence for 2D Push Manipulations with Mobile Robots [18.937030864563752]
異なるソフトボディ物理シミュレータからアテンションベースのニューラルネットワークにプランナーを蒸留することにより、我々のマルチロボットプッシュ操作システムはベースラインよりも優れた性能を実現する。
また、トレーニング中に見えない構成に一般化し、外乱や環境変化を適用したときにタスク完了に適応することができる。
論文 参考訳（メタデータ） (2022-11-28T08:48:58Z) - Explainable AI for System Failures: Generating Explanations that Improve
Human Assistance in Fault Recovery [15.359877013989228]
我々は,AIエージェントの計画実行中に発生する障害を自然言語で自動説明する手法を開発した。
これらの説明は、専門家でないユーザーが異なる障害点を理解するのを助けることに焦点をあてて開発されている。
既存のシーケンス・ツー・シーケンスの方法論を拡張して,文脈に基づく説明を自動的に生成する。
論文 参考訳（メタデータ） (2020-11-18T17:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。