論文の概要: Prediction with Action: Visual Policy Learning via Joint Denoising Process

• arxiv url: http://arxiv.org/abs/2411.18179v1
• Date: Wed, 27 Nov 2024 09:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:25:46.535618
• Title: Prediction with Action: Visual Policy Learning via Joint Denoising Process
• Title（参考訳）: 行動による予測:共同認知プロセスによる視覚的政策学習
• Authors: Yanjiang Guo, Yucheng Hu, Jianke Zhang, Yen-Jen Wang, Xiaoyu Chen, Chaochao Lu, Jianyu Chen,
• Abstract要約: PADは、画像予測とロボットアクションを統合する視覚ポリシー学習フレームワークである。 DiTは画像とロボット状態をシームレスに統合し、将来の画像とロボット動作の同時予測を可能にする。 Padは従来の手法よりも優れており、Metaworldのベンチマークで26.3%の大幅な改善を実現している。
• 参考スコア（独自算出の注目度）: 14.588908033404474
• License:
• Abstract: Diffusion models have demonstrated remarkable capabilities in image generation tasks, including image editing and video creation, representing a good understanding of the physical world. On the other line, diffusion models have also shown promise in robotic control tasks by denoising actions, known as diffusion policy. Although the diffusion generative model and diffusion policy exhibit distinct capabilities--image prediction and robotic action, respectively--they technically follow a similar denoising process. In robotic tasks, the ability to predict future images and generate actions is highly correlated since they share the same underlying dynamics of the physical world. Building on this insight, we introduce PAD, a novel visual policy learning framework that unifies image Prediction and robot Action within a joint Denoising process. Specifically, PAD utilizes Diffusion Transformers (DiT) to seamlessly integrate images and robot states, enabling the simultaneous prediction of future images and robot actions. Additionally, PAD supports co-training on both robotic demonstrations and large-scale video datasets and can be easily extended to other robotic modalities, such as depth images. PAD outperforms previous methods, achieving a significant 26.3% relative improvement on the full Metaworld benchmark, by utilizing a single text-conditioned visual policy within a data-efficient imitation learning setting. Furthermore, PAD demonstrates superior generalization to unseen tasks in real-world robot manipulation settings with 28.0% success rate increase compared to the strongest baseline. Project page at https://sites.google.com/view/pad-paper
• Abstract（参考訳）: 拡散モデルは、画像編集やビデオ作成を含む画像生成タスクにおいて顕著な能力を示し、物理的な世界をよく理解している。 一方、拡散モデルはまた、拡散ポリシーとして知られる行動の認知によるロボット制御タスクの約束も示している。 拡散生成モデルと拡散ポリシーは、それぞれ異なる能力、イメージ予測とロボット行動を示すが、技術的には同様の認知過程に従う。 ロボットタスクでは、将来のイメージを予測し、アクションを生成する能力は、物理世界の基盤となるダイナミクスを共有しているため、非常に相関性が高い。 この知見に基づいて,画像予測とロボットアクションを統合化するための新しい視覚政策学習フレームワークであるPADを紹介した。 具体的には、Diffusion Transformer(DiT)を使用して、画像とロボット状態をシームレスに統合し、将来の画像とロボット動作の同時予測を可能にする。 さらに、PADはロボットデモと大規模なビデオデータセットの両方での共同トレーニングをサポートし、深度画像などの他のロボットモダリティにも容易に拡張できる。 PADは、データ効率の模倣学習設定内で単一のテキスト条件の視覚ポリシーを利用することで、Metaworldベンチマークで26.3%の大幅な改善を実現している。 さらに、PADは、最強のベースラインに比べて28.0%の成功率の実際のロボット操作設定において、見つからないタスクに優れた一般化を示す。 Project page at https://sites.google.com/view/pad-paper

関連論文リスト

• VidMan: Exploiting Implicit Dynamics from Video Diffusion Model for Effective Robot Manipulation [79.00294932026266]
  VidManは、安定性を高め、データ利用効率を向上させるために、2段階のトレーニングメカニズムを使用する新しいフレームワークである。 我々のフレームワークは、CALVINベンチマークで最先端のベースラインモデルGR-1を上回り、11.7%の相対的な改善を実現し、OXEの小規模データセットで9%以上の精度向上を示す。
  論文  参考訳（メタデータ） (2024-11-14T03:13:26Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks [0.0]
  本研究では,ロボット操作分野における教師なし視覚-言語-アクションマッピングに着目した。 本研究では,シミュレータにおけるモデルの性能を最大55%向上させるモデル不変学習法を提案する。 我々の研究は、ロボット運動軌跡の教師なし学習に現在のマルチモーダルVAEを使用することの潜在的な利点と限界にも光を当てている。
  論文  参考訳（メタデータ） (2024-04-02T13:25:16Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)
• Movement Primitive Diffusion: Learning Gentle Robotic Manipulation of Deformable Objects [14.446751610174868]
  運動原始拡散(英: Movement Primitive Diffusion、MPD)は、ロボット支援手術における模倣学習(IL)の新しい手法である。 MPDは拡散型模倣学習(DIL)の汎用性と確率的動特性プリミティブ(ProDMP)の高品質な運動生成能力を組み合わせる 実世界および実世界の様々なロボット作業におけるMPDの評価を,状態観察と画像観察の両方で行う。
  論文  参考訳（メタデータ） (2023-12-15T18:24:28Z)
• Learning to Act from Actionless Videos through Dense Correspondences [87.1243107115642]
  本稿では,様々なロボットや環境にまたがる多様なタスクを確実に実行可能なビデオベースのロボットポリシーを構築するためのアプローチを提案する。 本手法は,ロボットの目標を指定するための汎用表現として,状態情報と行動情報の両方を符号化するタスク非依存表現として画像を利用する。 テーブルトップ操作とナビゲーションタスクの学習方針における我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:23Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。