論文の概要: THE COLOSSEUM: A Benchmark for Evaluating Generalization for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2402.08191v1
• Date: Tue, 13 Feb 2024 03:25:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 16:42:47.161319
• Title: THE COLOSSEUM: A Benchmark for Evaluating Generalization for Robotic Manipulation
• Title（参考訳）: The COLOSSEUM: ロボットマニピュレーションの一般化評価ベンチマーク
• Authors: Wilbert Pumacay, Ishika Singh, Jiafei Duan, Ranjay Krishna, Jesse Thomason, Dieter Fox
• Abstract要約: 我々は,20種類の操作タスクを備えた新しいシミュレーションベンチマークであるThe COLOSSEUMを提案する。 現状の4つの操作モデルを比較して,これらの摂動因子のうち,成功率が30～50%程度低下していることを明らかにする。 実験結果の生態学的妥当性を検証するため,シミュレーションの結果は実世界の実験と同様の摂動と相関している(barR2 = 0.614$)。
• 参考スコア（独自算出の注目度）: 43.65246679830876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To realize effective large-scale, real-world robotic applications, we must evaluate how well our robot policies adapt to changes in environmental conditions. Unfortunately, a majority of studies evaluate robot performance in environments closely resembling or even identical to the training setup. We present THE COLOSSEUM, a novel simulation benchmark, with 20 diverse manipulation tasks, that enables systematical evaluation of models across 12 axes of environmental perturbations. These perturbations include changes in color, texture, and size of objects, table-tops, and backgrounds; we also vary lighting, distractors, and camera pose. Using THE COLOSSEUM, we compare 4 state-of-the-art manipulation models to reveal that their success rate degrades between 30-50% across these perturbation factors. When multiple perturbations are applied in unison, the success rate degrades $\geq$75%. We identify that changing the number of distractor objects, target object color, or lighting conditions are the perturbations that reduce model performance the most. To verify the ecological validity of our results, we show that our results in simulation are correlated ($\bar{R}^2 = 0.614$) to similar perturbations in real-world experiments. We open source code for others to use THE COLOSSEUM, and also release code to 3D print the objects used to replicate the real-world perturbations. Ultimately, we hope that THE COLOSSEUM will serve as a benchmark to identify modeling decisions that systematically improve generalization for manipulation. See https://robot-colosseum.github.io/ for more details.
• Abstract（参考訳）: 大規模で現実的なロボット応用を実現するためには,ロボット政策が環境条件の変化にどの程度適応するかを評価する必要がある。 残念なことに、ほとんどの研究はトレーニング環境と近い、あるいは同一の環境におけるロボットのパフォーマンスを評価している。 我々は,環境摂動の12軸にわたるモデルの系統的評価を可能にする,20種類の操作タスクを備えた新しいシミュレーションベンチマークであるThe COLOSSEUMを提案する。 これらの摂動には、色、テクスチャ、オブジェクトのサイズ、テーブルトップ、背景の変化が含まれます。 このコロッセウムを用いて4つの最先端操作モデルを比較し,これらの摂動因子において,その成功率は30～50%に低下することを明らかにした。 複数の摂動が一斉に適用されると、成功率は$\geq$75%低下する。 対象物や対象物の色,照明条件の変化が,モデル性能を最も低下させる摂動であることを確認した。 実験結果の生態学的妥当性を検証するため,シミュレーションの結果は実世界の同様の摂動と相関している(\bar{R}^2 = 0.614$)。 我々は、他者がCOLOSSEUMを使用するためのソースコードを公開し、現実世界の摂動を再現するために使用されるオブジェクトを3Dプリントするコードをリリースする。 最終的には、COLOSSEUMが、操作の一般化を体系的に改善するモデリング決定を識別するためのベンチマークとして機能することを願っている。 詳細はhttps://robot-colosseum.github.io.を参照。

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• PoseBench: Benchmarking the Robustness of Pose Estimation Models under Corruptions [57.871692507044344]
  ポース推定は、単眼画像を用いて人や動物の解剖学的キーポイントを正確に同定することを目的としている。 現在のモデルは一般的に、クリーンなデータに基づいてトレーニングされ、テストされる。 実世界の腐敗に対するポーズ推定モデルの堅牢性を評価するためのベンチマークであるPoseBenchを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T14:40:17Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• World Models for General Surgical Grasping [7.884835348797252]
  我々は,世界モデルに基づく深層強化学習フレームワーク"Grasp Anything for Surgery"(GAS)を提案する。 外科的把握のためのピクセルレベルのビジュモータポリシーを学習し,汎用性とロバスト性の両方を向上する。 また,グリップ対象物体がグリップから落下した後に,背景変動,目標乱れ,カメラポーズ変動,運動制御誤差,画像ノイズ,再彫刻を含む6つの条件に対して,大きなロバスト性を示す。
  論文  参考訳（メタデータ） (2024-05-28T08:11:12Z)
• Uncertainty-aware Active Learning of NeRF-based Object Models for Robot Manipulators using Visual and Re-orientation Actions [8.059133373836913]
  本稿では,ロボットが対象物の完全な3次元モデルを高速に学習し,不慣れな方向で操作できるアプローチを提案する。 我々は、部分的に構築されたNeRFモデルのアンサンブルを用いて、モデルの不確実性を定量化し、次の動作を決定する。 提案手法は, 部分的NeRFモデルにより対象物をいつ, どのように把握し, 再指向するかを判断し, 相互作用中に導入された不整合を補正するために, 対象のポーズを再推定する。
  論文  参考訳（メタデータ） (2024-04-02T10:15:06Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Robust Visual Sim-to-Real Transfer for Robotic Manipulation [79.66851068682779]
  シミュレーションにおけるビジュモータポリシーの学習は、現実世界よりも安全で安価である。 しかし、シミュレーションデータと実データとの相違により、シミュレータ訓練されたポリシーは実際のロボットに転送されると失敗することが多い。 視覚的なsim-to-real領域ギャップを埋める一般的なアプローチは、ドメインランダム化(DR)である。
  論文  参考訳（メタデータ） (2023-07-28T05:47:24Z)
• Improving Object Permanence using Agent Actions and Reasoning [8.847502932609737]
  既存のアプローチは、低レベルの知覚からオブジェクト永続性を学ぶ。 我々は、ロボットが実行された動作に関する知識を使用する場合、オブジェクトの永続性を改善することができると論じる。
  論文  参考訳（メタデータ） (2021-10-01T07:09:49Z)
• Object and Relation Centric Representations for Push Effect Prediction [18.990827725752496]
  プッシュは、プレグレープ操作からシーンアレンジメントまでのタスクに使用される、非包括的操作スキルである。 本稿では,プッシュ動作の効果予測とパラメータ推定のためのグラフニューラルネットワークに基づくフレームワークを提案する。 本フレームワークは,異なる種類の接合体と異なる質量を有する物体を介して接続された異なる形状の多部オブジェクトを含む実環境と模擬環境の両方で検証される。
  論文  参考訳（メタデータ） (2021-02-03T15:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。