論文の概要: P3-PO: Prescriptive Point Priors for Visuo-Spatial Generalization of Robot Policies

• arxiv url: http://arxiv.org/abs/2412.06784v1
• Date: Mon, 09 Dec 2024 18:59:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:58:44.950681
• Title: P3-PO: Prescriptive Point Priors for Visuo-Spatial Generalization of Robot Policies
• Title（参考訳）: P3-PO:ロボット政策の空間空間的一般化に先立つ規範的ポイント
• Authors: Mara Levy, Siddhant Haldar, Lerrel Pinto, Abhinav Shirivastava,
• Abstract要約: Prescriptive Point Priors for Policies(P3-PO)は、環境のユニークな状態表現を構築する新しいフレームワークである。 P3-POは、新しいオブジェクトインスタンスとより散らかった環境のために、タスク全体で58%と80%のゲインを示す。
• 参考スコア（独自算出の注目度）: 19.12762500264209
• License:
• Abstract: Developing generalizable robot policies that can robustly handle varied environmental conditions and object instances remains a fundamental challenge in robot learning. While considerable efforts have focused on collecting large robot datasets and developing policy architectures to learn from such data, naively learning from visual inputs often results in brittle policies that fail to transfer beyond the training data. This work presents Prescriptive Point Priors for Policies or P3-PO, a novel framework that constructs a unique state representation of the environment leveraging recent advances in computer vision and robot learning to achieve improved out-of-distribution generalization for robot manipulation. This representation is obtained through two steps. First, a human annotator prescribes a set of semantically meaningful points on a single demonstration frame. These points are then propagated through the dataset using off-the-shelf vision models. The derived points serve as an input to state-of-the-art policy architectures for policy learning. Our experiments across four real-world tasks demonstrate an overall 43% absolute improvement over prior methods when evaluated in identical settings as training. Further, P3-PO exhibits 58% and 80% gains across tasks for new object instances and more cluttered environments respectively. Videos illustrating the robot's performance are best viewed at point-priors.github.io.
• Abstract（参考訳）: さまざまな環境条件やオブジェクトインスタンスを堅牢に処理できる汎用的なロボットポリシーの開発は、ロボット学習における根本的な課題である。 大規模なロボットデータセットの収集と、そのようなデータから学ぶためのポリシーアーキテクチャの開発に、かなりの努力が注がれているが、視覚的なインプットから内在的に学ぶことは、トレーニングデータを超えて転送できない不安定なポリシーをもたらすことが多い。 本研究は,コンピュータビジョンとロボット学習の最近の進歩を活用して,ロボット操作におけるアウト・オブ・ディストリビューションの一般化を向上する,環境のユニークな状態表現を構築する新しいフレームワークであるPrescriptive Point Priors for Policies(P3-PO)を提示する。 この表現は2つのステップによって得られる。 まず、人間のアノテータは、単一のデモンストレーションフレーム上に意味論的意味のある点のセットを規定する。 これらのポイントは、オフザシェルフビジョンモデルを使用してデータセットを通じて伝播される。 派生したポイントは、政策学習のための最先端のポリシーアーキテクチャへの入力として機能する。 実世界の4つのタスクを対象とした実験では、トレーニングと同一の設定で評価した場合、従来の手法に比べて43%の絶対的な改善が見られた。 さらに、P3-POは、新しいオブジェクトインスタンスとより散らかった環境のために、タスク全体で58%と80%のゲインを示している。 ロボットのパフォーマンスを示すビデオは、point-priors.github.ioでよく見られる。

関連論文リスト

• Keypoint Abstraction using Large Models for Object-Relative Imitation Learning [78.92043196054071]
  多様なタスクや環境にまたがる新しいオブジェクト構成やインスタンスへの一般化は、ロボット工学において重要な課題である。 キーポイントに基づく表現は、本質的なオブジェクトキャプチャ機能のための簡潔な表現として有効であることが証明されている。 本稿では,タスク関連およびクロスインスタンス整合性キーポイントの自動生成に,大規模な事前学習型視覚言語モデルを活用するフレームワークであるKALMを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:37:31Z)
• Grounding Robot Policies with Visuomotor Language Guidance [15.774237279917594]
  ロボットポリシーを現在の状況に基盤付けるためのエージェントベースのフレームワークを提案する。 提案するフレームワークは、特定の役割のために設計された会話エージェントのセットで構成されている。 弊社のアプローチは、操作ポリシーを効果的にガイドし、成功率を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-10-09T02:00:37Z)
• A Survey of Embodied Learning for Object-Centric Robotic Manipulation [27.569063968870868]
  オブジェクト中心のロボット操作のための身体学習は、AIの急速に発展し、挑戦的な分野である。 データ駆動機械学習とは異なり、具体化学習は環境との物理的相互作用を通じてロボット学習に焦点を当てる。
  論文  参考訳（メタデータ） (2024-08-21T11:32:09Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Learning Generalizable Manipulation Policies with Object-Centric 3D Representations [65.55352131167213]
  GROOTは、オブジェクト中心と3D事前の堅牢なポリシーを学ぶための模倣学習手法である。 ビジョンベースの操作のための初期訓練条件を超えて一般化するポリシーを構築する。 GROOTのパフォーマンスは、バックグラウンドの変更、カメラの視点シフト、新しいオブジェクトインスタンスの存在に関する一般化に優れています。
  論文  参考訳（メタデータ） (2023-10-22T18:51:45Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。