論文の概要: Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression

• arxiv url: http://arxiv.org/abs/2502.04296v1
• Date: Thu, 06 Feb 2025 18:38:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:16.965133
• Title: Learning Real-World Action-Video Dynamics with Heterogeneous Masked Autoregression
• Title（参考訳）: 不均質なマスドオートレグレスを用いた実世界のアクションビデオダイナミクスの学習
• Authors: Lirui Wang, Kevin Zhao, Chaoqi Liu, Xinlei Chen,
• Abstract要約: 本稿では,アクション・ビデオ・ダイナミックスをモデル化するためのヘテロジニアス・マスケッド・オートレグレス(HMA)を提案する。 ポストトレーニング後、このモデルは、ポリシーを評価し、合成データを生成するためのビデオシミュレータとして使用できる。
• 参考スコア（独自算出の注目度）: 23.99292102237088
• License:
• Abstract: We propose Heterogeneous Masked Autoregression (HMA) for modeling action-video dynamics to generate high-quality data and evaluation in scaling robot learning. Building interactive video world models and policies for robotics is difficult due to the challenge of handling diverse settings while maintaining computational efficiency to run in real time. HMA uses heterogeneous pre-training from observations and action sequences across different robotic embodiments, domains, and tasks. HMA uses masked autoregression to generate quantized or soft tokens for video predictions. \ourshort achieves better visual fidelity and controllability than the previous robotic video generation models with 15 times faster speed in the real world. After post-training, this model can be used as a video simulator from low-level action inputs for evaluating policies and generating synthetic data. See this link https://liruiw.github.io/hma for more information.
• Abstract（参考訳）: 本稿では,ロボット学習における高品質なデータ生成と評価のために,アクションビデオのダイナミックスをモデル化するための異種マスケ自動回帰(HMA)を提案する。 インタラクティブなビデオワールドモデルとロボティクスのポリシーを構築することは、様々な設定を扱うことの難しさと、リアルタイムに動作する計算効率を維持することの難しさから難しい。 HMAは、さまざまなロボティクス、ドメイン、タスクにわたる観察とアクションシーケンスから異質な事前トレーニングを使用する。 HMAはマスク付き自己回帰を使用して、ビデオ予測のための量子化またはソフトトークンを生成する。 \ourshortは、従来のロボットビデオ生成モデルよりも視覚的忠実度とコントロール性が良く、現実世界の15倍のスピードで実現されている。 ポストトレーニング後、このモデルは、ポリシーを評価し、合成データを生成するための低レベルのアクションインプットからビデオシミュレータとして使用できる。 詳しくは、https://liruiw.github.io/hmaを参照。

関連論文リスト

• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• VidMan: Exploiting Implicit Dynamics from Video Diffusion Model for Effective Robot Manipulation [79.00294932026266]
  VidManは、安定性を高め、データ利用効率を向上させるために、2段階のトレーニングメカニズムを使用する新しいフレームワークである。 我々のフレームワークは、CALVINベンチマークで最先端のベースラインモデルGR-1を上回り、11.7%の相対的な改善を実現し、OXEの小規模データセットで9%以上の精度向上を示す。
  論文  参考訳（メタデータ） (2024-11-14T03:13:26Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Learning from synthetic data generated with GRADE [0.6982738885923204]
  本稿では,ロボット工学研究のための現実的なアニメーション動的環境(GRADE)を作成するためのフレームワークを提案する。 GRADEは、完全なシミュレーション制御、ROS統合、現実物理学をサポートし、高い視覚的忠実度画像と地上真実データを生成するエンジン内にある。 合成データのみを用いてトレーニングしても、同一のアプリケーション領域における実世界の画像によく当てはまることを示す。
  論文  参考訳（メタデータ） (2023-05-07T14:13:04Z)
• VideoMAE V2: Scaling Video Masked Autoencoders with Dual Masking [57.552798046137646]
  Video masked autoencoder(ビデオマスクオートエンコーダ)は、ビデオ基礎モデルを構築するための、スケーラブルで汎用的な自己監督型プレトレーナーである。 我々は10億のパラメータを持つビデオViTモデルのトレーニングに成功した。
  論文  参考訳（メタデータ） (2023-03-29T14:28:41Z)
• From Play to Policy: Conditional Behavior Generation from Uncurated Robot Data [18.041329181385414]
  Conditional Behavior Transformer (C-BeT) は、動作変換器のマルチモーダル生成能力と将来の目標仕様を組み合わせた手法である。 C-BeTは、プレイデータから学ぶための最先端の研究を平均45.7%改善している。 プレイデータから実世界のロボットで有用なタスク中心の振る舞いを学習できることを初めて実証する。
  論文  参考訳（メタデータ） (2022-10-18T17:59:55Z)
• Masked World Models for Visual Control [90.13638482124567]
  視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。 提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-06-28T18:42:27Z)
• Deep Imitation Learning for Bimanual Robotic Manipulation [70.56142804957187]
  本稿では,ロボットによるバイマニュアル操作のための深層模倣学習フレームワークを提案する。 中心となる課題は、操作スキルを異なる場所にあるオブジェクトに一般化することである。 i)マルチモーダルダイナミクスを要素運動プリミティブに分解し、(ii)リカレントグラフニューラルネットワークを用いて各プリミティブをパラメータ化して相互作用を捕捉し、(iii)プリミティブを逐次的に構成する高レベルプランナと、プリミティブダイナミクスと逆運動学制御を組み合わせた低レベルコントローラを統合することを提案する。
  論文  参考訳（メタデータ） (2020-10-11T01:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。