論文の概要: Multi-Task Interactive Robot Fleet Learning with Visual World Models

• arxiv url: http://arxiv.org/abs/2410.22689v1
• Date: Wed, 30 Oct 2024 04:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:26:55.618368
• Title: Multi-Task Interactive Robot Fleet Learning with Visual World Models
• Title（参考訳）: 視覚世界モデルを用いたマルチタスク対話型ロボットフリートラーニング
• Authors: Huihan Liu, Yu Zhang, Vaarij Betala, Evan Zhang, James Liu, Crystal Ding, Yuke Zhu,
• Abstract要約: Sirius-Fleetはマルチタスク対話型ロボットフリートラーニングフレームワークである。 デプロイ中のロボットのパフォーマンスを監視し、必要な時にロボットの動作を修正するよう人間に要求する。 ロボットの自律性が向上するにつれて、異常予測器は予測基準に自動的に適応する。
• 参考スコア（独自算出の注目度）: 25.001148860168477
• License:
• Abstract: Recent advancements in large-scale multi-task robot learning offer the potential for deploying robot fleets in household and industrial settings, enabling them to perform diverse tasks across various environments. However, AI-enabled robots often face challenges with generalization and robustness when exposed to real-world variability and uncertainty. We introduce Sirius-Fleet, a multi-task interactive robot fleet learning framework to address these challenges. Sirius-Fleet monitors robot performance during deployment and involves humans to correct the robot's actions when necessary. We employ a visual world model to predict the outcomes of future actions and build anomaly predictors to predict whether they will likely result in anomalies. As the robot autonomy improves, the anomaly predictors automatically adapt their prediction criteria, leading to fewer requests for human intervention and gradually reducing human workload over time. Evaluations on large-scale benchmarks demonstrate Sirius-Fleet's effectiveness in improving multi-task policy performance and monitoring accuracy. We demonstrate Sirius-Fleet's performance in both RoboCasa in simulation and Mutex in the real world, two diverse, large-scale multi-task benchmarks. More information is available on the project website: https://ut-austin-rpl.github.io/sirius-fleet
• Abstract（参考訳）: 大規模マルチタスクロボット学習の最近の進歩は、家庭や産業環境にロボット群を配置する可能性を秘めている。 しかし、AI対応ロボットは、現実の変動性と不確実性に晒された場合、一般化と堅牢性の課題に直面することが多い。 Sirius-Fleetは、これらの課題に対処するためのマルチタスク対話型ロボットフリートラーニングフレームワークである。 Sirius-Fleetは、デプロイ中のロボットのパフォーマンスを監視し、必要に応じてロボットの動作を修正する。 我々は、将来の行動の結果を予測するために視覚世界モデルを使用し、異常が起こるかどうかを予測するために異常予測器を構築します。 ロボットの自律性が向上するにつれて、異常予測器は予測基準に自動的に適応し、人間の介入に対する要求が減り、時間の経過とともに人的負荷が徐々に減少する。 大規模ベンチマークの評価は,マルチタスクポリシのパフォーマンス向上と監視精度向上におけるSirius-Fleetの有効性を示している。 シミュレーションではSirius-FleetのRoboCasaと実世界のMutexの両方のパフォーマンスを実証する。 詳細はプロジェクトのWebサイト(https://ut-austin-rpl.github.io/sirius-fleet)で確認できる。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Robotic Control via Embodied Chain-of-Thought Reasoning [86.6680905262442]
  学習したロボット制御ポリシーの鍵となる制限は、トレーニングデータの外部で一般化できないことである。 視覚言語行動モデル(VLA)に関する最近の研究は、大規模なインターネット事前学習型視覚言語モデルを使用することで、その堅牢性と一般化能力を大幅に向上させることができることを示した。 ロボットの動作を予測する前に、VLAに対して、計画、サブタスク、動作、視覚的接地機能について複数の推論を行うために、VLAに対してEmbodied Chain-of-Thought Reasoning (ECoT)を導入する。
  論文  参考訳（メタデータ） (2024-07-11T17:31:01Z)
• Commonsense Reasoning for Legged Robot Adaptation with Vision-Language Models [81.55156507635286]
  脚のついたロボットは、様々な環境をナビゲートし、幅広い障害を克服することができる。 現在の学習手法は、人間の監督を伴わずに、予期せぬ状況の長い尾への一般化に苦慮することが多い。 本稿では,VLM-Predictive Control (VLM-PC) というシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T21:00:30Z)
• Innate Motivation for Robot Swarms by Minimizing Surprise: From Simple Simulations to Real-World Experiments [6.21540494241516]
  大規模モバイルマルチロボットシステムは、堅牢性とスケーラビリティの可能性が高いため、モノリシックロボットよりも有益である。 マルチロボットシステムのためのコントローラの開発は、対話の多さが予測し難く、モデル化が難しいため、難しい。 本質的にモチベーションは報酬の特定の定式化を避け、好奇心などの異なるドライバで作業しようとする。 Swarmのロボットケースのユニークな利点は、Swarmのメンバーがロボットの環境に飛び込み、自己参照ループでより活発な行動を引き起こすことができることである。
  論文  参考訳（メタデータ） (2024-05-04T06:25:58Z)
• RoboScript: Code Generation for Free-Form Manipulation Tasks across Real and Simulation [77.41969287400977]
  本稿では,コード生成を利用したデプロイ可能なロボット操作パイプラインのためのプラットフォームである textbfRobotScript を提案する。 自由形自然言語におけるロボット操作タスクのためのコード生成ベンチマークも提案する。 我々は,Franka と UR5 のロボットアームを含む,複数のロボットエボディメントにまたがるコード生成フレームワークの適応性を実証した。
  論文  参考訳（メタデータ） (2024-02-22T15:12:00Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• Robot Learning on the Job: Human-in-the-Loop Autonomy and Learning During Deployment [25.186525630548356]
  Siriusは、人間とロボットが共同作業を行うための、原則化されたフレームワークである。 部分的に自律的なロボットは、意思決定の大部分を確実に行うことを任務としている。 タスク実行から収集したデータに対するポリシーの性能を改善するための新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-15T18:53:39Z)
• Robot Vitals and Robot Health: Towards Systematically Quantifying Runtime Performance Degradation in Robots Under Adverse Conditions [2.0625936401496237]
  ロボットバイタル」とは、ロボットが直面する性能劣化の程度を推定する指標である。 ロボット健康」とは、ロボットのバイタルを1つのスカラー値に組み合わせ、性能劣化を推定する指標である。
  論文  参考訳（メタデータ） (2022-07-04T19:26:13Z)
• Lifelong Robotic Reinforcement Learning by Retaining Experiences [61.79346922421323]
  多くのマルチタスク強化学習は、ロボットが常にすべてのタスクからデータを収集できると仮定している。 本研究では,物理ロボットシステムの実用的制約を動機として,現実的なマルチタスクRL問題について検討する。 我々は、ロボットのスキルセットを累積的に成長させるために、過去のタスクで学んだデータとポリシーを効果的に活用するアプローチを導出する。
  論文  参考訳（メタデータ） (2021-09-19T18:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。