論文の概要: PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2410.10394v2
- Date: Wed, 16 Oct 2024 08:20:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 21:54:49.452383
- Title: PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation
- Title（参考訳）: PIVOT-R:ロボットマニピュレーションのための原始駆動型ウェイポイント認識世界モデル
- Authors: Kaidong Zhang, Pengzhen Ren, Bingqian Lin, Junfan Lin, Shikui Ma, Hang Xu, Xiaodan Liang,
- Abstract要約: ロボット操作のためのPrIrmitive-driVen waypOinT-aware world model(PIVOT-R)を提案する。
PIVOT-RはWAWM(Waypoint-aware World Model)と軽量アクション予測モジュールで構成される。
私たちのPIVOT-RはSeaWaveベンチマークで最先端のオープンソースモデルより優れており、4段階の命令タスクで平均19.45%の相対的な改善を実現しています。
- 参考スコア（独自算出の注目度）: 68.17081518640934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-guided robotic manipulation is a challenging task that requires an embodied agent to follow abstract user instructions to accomplish various complex manipulation tasks. Previous work trivially fitting the data without revealing the relation between instruction and low-level executable actions, these models are prone to memorizing the surficial pattern of the data instead of acquiring the transferable knowledge, and thus are fragile to dynamic environment changes. To address this issue, we propose a PrIrmitive-driVen waypOinT-aware world model for Robotic manipulation (PIVOT-R) that focuses solely on the prediction of task-relevant waypoints. Specifically, PIVOT-R consists of a Waypoint-aware World Model (WAWM) and a lightweight action prediction module. The former performs primitive action parsing and primitive-driven waypoint prediction, while the latter focuses on decoding low-level actions. Additionally, we also design an asynchronous hierarchical executor (AHE), which can use different execution frequencies for different modules of the model, thereby helping the model reduce computational redundancy and improve model execution efficiency. Our PIVOT-R outperforms state-of-the-art (SoTA) open-source models on the SeaWave benchmark, achieving an average relative improvement of 19.45% across four levels of instruction tasks. Moreover, compared to the synchronously executed PIVOT-R, the execution efficiency of PIVOT-R with AHE is increased by 28-fold, with only a 2.9% drop in performance. These results provide compelling evidence that our PIVOT-R can significantly improve both the performance and efficiency of robotic manipulation.
- Abstract（参考訳）: 言語誘導型ロボット操作は、様々な複雑な操作タスクを達成するために抽象的なユーザー指示に従うために、具体的エージェントを必要とする難しい作業である。
従来は命令と低レベルの実行可能動作の関係を明らかにすることなく、データに自明な適合を図ったが、これらのモデルは、転送可能な知識を得る代わりに、データのサージカルパターンを記憶する傾向があるため、動的環境の変化に対して脆弱である。
そこで本研究では,ロボット操作のためのPIVOT-R(PrIrmitive-driVen waypOinT-aware world model)を提案する。
具体的には、PIVOT-RはWAWM(Waypoint-aware World Model)と軽量アクション予測モジュールで構成される。
前者はプリミティブアクション解析とプリミティブ駆動のウェイポイント予測を行い、後者は低レベルアクションのデコードに焦点を当てる。
さらに,非同期階層型実行器 (AHE) を設計し,モデルの異なるモジュールに対して異なる実行周波数を使用できるようにし,計算冗長性を低減し,モデルの実行効率を向上させる。
私たちのPIVOT-Rは、SeaWaveベンチマークで最先端(SoTA)オープンソースモデルより優れており、4段階の命令タスクで平均19.45%の相対的な改善を実現しています。
さらに、同期実行されたPIVOT-Rと比較して、AHEによるPIVOT-Rの実行効率は28倍に向上し、性能は2.9%しか低下しない。
これらの結果は、我々のPIVOT-Rがロボット操作の性能と効率の両方を著しく改善できることを示す。
関連論文リスト
- Autoregressive Action Sequence Learning for Robotic Manipulation [32.9580007141312]
既存の自己回帰型アーキテクチャは、言語モデリングにおいて単語トークンとして順次、エンドエフェクタ・ウェイポイントを生成する。
我々は、因果変換器の単一トークン予測を拡張し、単一のステップで可変数のトークンを予測する。
本稿では,ハイブリッドなアクションシーケンスを生成することで操作タスクを解消するAutoregressive Policyアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-10-04T04:07:15Z) - Affordance-based Robot Manipulation with Flow Matching [6.863932324631107]
本フレームワークは,ロボット操作のためのフローマッチングにより,手頃なモデル学習とトラジェクトリ生成を統一する。
評価の結果,提案手法は,言語プロンサによる手軽さを学習し,競争性能を向上することがわかった。
本フレームワークは,ロボット操作のためのフローマッチングにより,相性モデル学習と軌道生成をシームレスに統合する。
論文 参考訳（メタデータ） (2024-09-02T09:11:28Z) - M-DEW: Extending Dynamic Ensemble Weighting to Handle Missing Values [2.8861431208787525]
我々は、不足データを用いて下流予測を行うための新しいAutoML技術を開発した。
M-DEWは18実験中17実験において、モデルパープレキシティの統計的に有意な減少を生じるという、最先端技術よりも優れていることが示されている。
論文 参考訳（メタデータ） (2024-04-30T20:13:18Z) - Active Exploration in Bayesian Model-based Reinforcement Learning for Robot Manipulation [8.940998315746684]
ロボットアームのエンドタスクに対するモデルベース強化学習(RL)アプローチを提案する。
我々はベイズニューラルネットワークモデルを用いて、探索中に動的モデルに符号化された信念と情報の両方を確率論的に表現する。
実験により,ベイズモデルに基づくRL手法の利点が示された。
論文 参考訳（メタデータ） (2024-04-02T11:44:37Z) - DiffNAS: Bootstrapping Diffusion Models by Prompting for Better
Architectures [63.12993314908957]
そこで我々は,DiffNASと呼ばれるベースモデル探索手法を提案する。
GPT-4をスーパーネットとして利用して検索を高速化し,検索メモリを補足して結果を向上する。
厳密な実験により,GPTに基づくシナリオでは,探索効率を2倍に向上できることが示された。
論文 参考訳（メタデータ） (2023-10-07T09:10:28Z) - PACT: Perception-Action Causal Transformer for Autoregressive Robotics
Pre-Training [25.50131893785007]
本研究は,ロボットにおける複数のタスクの出発点として機能する汎用表現を事前学習するためのパラダイムを導入する。
本稿では,ロボットデータから直接表現を自己管理的に構築することを目的として,PACT(Perception-Action Causal Transformer)を提案する。
より大規模な事前学習モデル上に小さなタスク特化ネットワークを微調整すると、同時に1つのモデルをスクラッチからトレーニングするのに比べ、性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-09-22T16:20:17Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2022-03-09T17:26:53Z) - Waypoint Models for Instruction-guided Navigation in Continuous
Environments [68.2912740006109]
本稿では,言語条件付きウェイポイント予測ネットワークのクラスを開発し,この問題について検討する。
プロファイリングされたLoCoBotロボット上でのタスク性能と実行時間の推定を行う。
我々のモデルは、VLN-CEにおける以前の仕事を上回り、新しい最先端の技術を公衆のリーダーボードに置きました。
論文 参考訳（メタデータ） (2021-10-05T17:55:49Z) - Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。
中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。
i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
論文 参考訳（メタデータ） (2020-10-11T01:40:03Z) - Parameter-Efficient Transfer from Sequential Behaviors for User Modeling
and Recommendation [111.44445634272235]
本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。
PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。
我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
論文 参考訳（メタデータ） (2020-01-13T14:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。