論文の概要: Real2Sim2Real for Vision-Language-Action Manipulation: An AMD ROCm-Based Pipeline
- arxiv url: http://arxiv.org/abs/2607.22997v1
- Date: Sat, 25 Jul 2026 02:23:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.960464
- Title: Real2Sim2Real for Vision-Language-Action Manipulation: An AMD ROCm-Based Pipeline
- Title（参考訳）: Real2Sim2Real for Vision-Language-Action Manipulation: an AMD ROCm-based Pipeline
- Abstract要約: 物理AIは、現実世界で行動するエンボディエージェントと大きな視覚-アクションモデルの統合である。
本稿では,エンド・ツー・エンドのAMDアクセラレーション技術スタックについて述べる。
- 参考スコア（独自算出の注目度）: 13.511902327061856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physical AI -- the integration of large vision-language-action (VLA) models with embodied agents that act in the real world -- has emerged as the next major frontier for AI, echoed by industry leaders such as Jensen Huang (``the next big thing is Physical AI, AI with a body,'' GTC Paris, June 2025) and Dr. Lisa Su (`we're entering the world of Physical AI ... this is where AI enters the real world,' CES 2026). This paper presents an end-to-end, fully AMD-accelerated technology stack for embodied manipulation, spanning data-center training silicon, Radeon PRO simulation/rendering GPUs, and Ryzen AI edge compute, unified by the open ROCm software stack. We demonstrate that training and deploying VLA-based manipulation policies does not require a CUDA-locked ecosystem. Four progressive demonstrations are presented: (1) a Sim-to-Real manipulation pipeline trained with SmolVLA and deployed on a physical Franka arm; (2) a semantic, language-grounded object-selection task (`one-of-three'); (3) a Real2Sim synthetic-data generation pipeline that fuses 3D Gaussian Splatting (3DGS) reconstructions of real scenes with the Genesis physics engine; and (4) large-scale reinforcement learning for quadruped and humanoid locomotion benchmarked across multiple hardware platforms. All pipelines run natively on ROCm + PyTorch on RDNA4 (Radeon AI PRO R9700) and RDNA3.5 (Radeon PRO W7900) hardware and are reproducible on the free Radeon Cloud Platform.
- Abstract（参考訳）: 物理AI — 現実世界で行動する具体的エージェントを備えた大規模視覚言語アクション(VLA)モデルの統合 — が、AIの次の主要フロンティアとして現れ、Jensen Huang氏(“次の大きなものは、身体を持つAIである”)やLisa Su博士(“私たちは物理AIの世界に入る”)といった業界リーダーたちによる、AIの次の主要フロンティアとなった。
本稿では,データセンタトレーニングシリコン,Radeon PROシミュレーション/レンダリングGPU,オープンなROCmソフトウェアスタックで統一されたRyzen AIエッジ計算など,エンド・ツー・エンドで完全なAMDアクセラレーションを実現する技術スタックを提案する。
VLAベースの操作ポリシのトレーニングとデプロイは,CUDAロックされたエコシステムを必要としないことを実証する。
1)SmolVLAで訓練し,物理的フランカアームに展開するSim-to-Real操作パイプライン,(2)意味的,言語に基づくオブジェクト選択タスク("one-of-three'"),(3)ジェネシス物理エンジンによる実シーンの3Dガウススティング(3DGS)再構成を融合するReal2Sim合成データ生成パイプライン,(4)複数のハードウェアプラットフォームでベンチマークされた4倍体とヒューマノイドロコモーションの大規模強化学習,の4つのプログレッシブなデモが紹介されている。
すべてのパイプラインは RDNA4 (Radeon AI PRO R9700) と RDNA3.5 (Radeon PRO W7900) のハードウェア上で ROCm + PyTorch でネイティブに動作し、無料の Radeon Cloud Platform で再現可能である。
関連論文リスト
- Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation [88.94027963091206]
具体的インテリジェンスのための言語条件付きビデオワールドモデルであるQwen-RobotWorldを紹介する。
ロボット操作、自律運転、屋内ナビゲーション、人間とロボットの移動など、現在の観察結果から、物理的に基礎付けられた将来の視覚軌道を予測する。
論文 参考訳（メタデータ） (2026-06-15T17:52:31Z) - Cosmos 3: Omnimodal World Models for Physical AI [321.3056180868173]
我々は、言語、画像、ビデオ、オーディオ、アクションシーケンスを共同で処理し、生成するために設計された、一様世界モデルのファミリーであるCosmos 3を紹介する。
評価の結果,コスモス3は多種多様な理解・生成タスクにまたがって,新たな最先端技術の統合を図っている。
論文 参考訳（メタデータ） (2026-06-01T19:12:30Z) - GaussianDream: A Feed-Forward 3D Gaussian World Model for Robotic Manipulation [54.671815855499034]
視覚言語アクション(VLA)ポリシーは、セマンティック先行をアクション生成に転送することで、言語条件のロボット操作を進化させた。
標準的な行動模倣学習は、しばしば明示的な3次元空間情報、密集した幾何学的監督、将来の環境進化の十分なモデリングを欠いている。
フィードフォワード3Dガウス世界モデルプラグインである textbfGaussianDream を提案する。
論文 参考訳（メタデータ） (2026-05-20T05:51:30Z) - V-Dreamer: Automating Robotic Simulation and Trajectory Synthesis via Video Generation Priors [30.872127145725187]
V-Dreamerは、オープン語彙でシミュレーション可能な操作環境を生成する、完全に自動化されたフレームワークである。
V-Dreamerは、物理的に接地された3Dシーンを構成する新しい生成パイプラインを使用している。
我々は,本ポリシーがシミュレーションにおいて未確認オブジェクトに対して堅牢に一般化し,効率的なsim-to-real転送を実現することを示す。
論文 参考訳（メタデータ） (2026-03-19T12:00:04Z) - World Simulation with Video Foundation Models for Physical AI [181.78265691303315]
我々は,[Cosmos-Predict2.5]と[Cosmos-Transfer2.5]を,エンボディインテリジェンスをスケールするための汎用ツールとしてリリースする。
我々はNVIDIA Open Model Licenseの下で、ソースコード、事前訓練されたチェックポイント、およびキュレートされたベンチマークをリリースします。
論文 参考訳（メタデータ） (2025-10-28T22:44:13Z) - GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation [18.684526752120412]
GSWorldは、3Dガウススプラッティングと物理エンジンを組み合わせたロボット操作のための写真リアルシミュレータだ。
本フレームワークは,実ロボットデータから得られたポリシーを再現可能な評価で評価する操作ポリシーの「ループを閉じる」ことを提唱する。
論文 参考訳（メタデータ） (2025-10-23T17:59:26Z) - GaussGym: An open-source real-to-sim framework for learning locomotion from pixels [78.05453137978132]
本稿では,3次元ガウススプラッティングをベクトル化物理シミュレータのドロップインとして統合した光現実的ロボットシミュレーションを提案する。
これにより、コンシューマGPUで毎秒10万ステップを超える、前例のないスピードを実現している。
また,シミュレーティブ・トゥ・リアル・ロボティクス・セッティングにおける適用性を実証した。
論文 参考訳（メタデータ） (2025-10-17T06:34:52Z) - GWM: Towards Scalable Gaussian World Models for Robotic Manipulation [53.51622803589185]
本稿では,ロボット操作のための世界モデルGawssian World Model (GWM)を提案する。
中心となるのは、潜伏拡散変換器(DiT)と3次元変分オートエンコーダを組み合わせることで、微粒なシーンレベルの将来の状態復元を可能にする。
シミュレーションと実世界の実験の両方で、GWMは多様なロボットのアクションに照らされた未来のシーンを正確に予測できる。
論文 参考訳（メタデータ） (2025-08-25T02:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。