論文の概要: Seeing Realism from Simulation: Efficient Video Transfer for Vision-Language-Action Data Augmentation
- arxiv url: http://arxiv.org/abs/2605.02757v1
- Date: Mon, 04 May 2026 15:57:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.39338
- Title: Seeing Realism from Simulation: Efficient Video Transfer for Vision-Language-Action Data Augmentation
- Title（参考訳）: シミュレーションからリアリズムを見る:ビジョン・ランゲージ・アクションデータ拡張のための効率的なビデオ転送
- Abstract要約: 視覚言語アクション(VLA)モデルは通常、大規模な実世界のビデオに依存している。
シミュレーションVLAビデオをリアルなトレーニングビデオに変換する,効率的なビデオ拡張フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 39.90318150105298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models typically rely on large-scale real-world videos, whereas simulated data, despite being inexpensive and highly parallelizable to collect, often suffers from a substantial visual domain gap and limited environmental diversity, resulting in weak real-world generalization. We present an efficient video augmentation framework that converts simulated VLA videos into realistic training videos while preserving task semantics and action trajectories. Our pipeline extracts structured conditions from simulation via video semantic segmentation and video captioning, rewrites captions to diversify environments, and uses a conditional video transfer model to synthesize realistic videos. To make augmentation practical at scale, we introduce a diffusion feature-reuse mechanism that reuses video tokens across adjacent timesteps to accelerate generation, and a coreset sampling strategy that identifies a compact, non-redundant subset for augmentation under limited computation. Extensive experiments on Robotwin 2.0, LIBERO, LIBERO-Plus, and a real robotic platform demonstrate consistent improvements. For example, our method improves RDT-1B by 8% on Robotwin 2.0, and boosts $π_0$ by 5.1% on the more challenging LIBERO-Plus benchmark. Code is available at: https://github.com/nanfangxiansheng/Seeing-Realism-from-Simulation.
- Abstract（参考訳）: VLA(Vision-Language-action)モデルは通常、大規模な実世界のビデオに依存しているのに対し、シミュレーションされたデータは、収集が安価で高度に並列化可能であるにもかかわらず、大きな視覚領域のギャップと環境の多様性に悩まされ、結果として現実世界の一般化が弱くなる。
本稿では,VLA動画をリアルなトレーニングビデオに変換し,タスク意味や行動軌跡を保存した効率的なビデオ拡張フレームワークを提案する。
パイプラインは,ビデオセマンティックセグメンテーションとビデオキャプションによるシミュレーションから構造化条件を抽出し,キャプションを書き換えて環境を多様化させ,条件付きビデオ転送モデルを用いてリアルな映像を合成する。
大規模化を実現するために,隣接する時間経過でビデオトークンを再利用して生成を高速化する拡散機能再利用機構と,制限された計算条件下での拡張のためのコンパクトで非冗長なサブセットを識別するコアセットサンプリング戦略を導入する。
Robotwin 2.0、LIBERO、LIBERO-Plus、そして本物のロボットプラットフォームに関する大規模な実験は、一貫した改善を示している。
例えば、Robotwin 2.0ではRTT-1Bが8%向上し、より困難なLIBERO-Plusベンチマークではπ_0$が5.1%向上した。
コードは以下の通り。 https://github.com/nanfangxiansheng/Seeing-Realism-from-Simulation。
関連論文リスト
- GASE: Gaussian Splatting-Based Automated System for Reconstructing Embodied-Simulation Environments [63.222920701596564]
実世界での実施エージェントの訓練には熟練したオペレーターと高価なハードウェアが必要である。
シミュレーション環境は、大規模で費用対効果の高いデータ拡張を可能にすることで、魅力的な代替手段を提供する。
シミュレーションシーンを最小限のsim-to-realギャップで高速に構築することは、ロボット学習において重要な目標となっている。
論文 参考訳（メタデータ） (2026-06-16T05:00:42Z) - GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning [55.272458304179025]
GS-Playgroundは、エンド・ツー・エンドの知覚学習を促進するために設計されたマルチモーダル・シミュレーション・フレームワークである。
このシステムは640x480の解像度で104 FPSのスループットを達成し、大規模な視覚的RLの障壁を著しく低減する。
論文 参考訳（メタデータ） (2026-04-28T10:05:39Z) - ComSim: Building Scalable Real-World Robot Data Generation via Compositional Simulation [90.4702774169675]
本稿では,古典シミュレーションとニューラルシミュレーションを組み合わせた合成シミュレーションというハイブリッド手法を提案する。
提案手法では,少数の実世界のデータを活用するクローズドループ・リアル・シモン・リアル・データ拡張パイプラインを利用する。
我々はニューラルシミュレーターをトレーニングし、古典的なシミュレーションビデオを現実世界の表現に変換し、現実の環境で訓練されたポリシーモデルの精度を向上させる。
論文 参考訳（メタデータ） (2026-04-13T12:25:45Z) - CRAFT: Video Diffusion for Bimanual Robot Data Generation [3.1921574296387916]
実世界のデータのコストと狭い視覚的多様性によって、デモから双方向のロボット学習が根本的に制限される。
ビデオ拡散変換器(CRAFT)を用いたCanny-Guided Robotデータ生成について述べる。
CRAFTは、アクションラベルを作成しながら、時間的にコヒーレントな操作ビデオを合成する。
論文 参考訳（メタデータ） (2026-04-04T02:36:54Z) - DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control [16.562259973551786]
本稿では,ビデオ拡散変換器とアクション拡散変換器を結合したエンドツーエンドのビデオ・アクション・モデルであるDiT4DiTを紹介する。
DiT4DiTは、再構成後のフレームに頼る代わりに、ビデオ生成プロセスから中間的なデノイング機能を抽出する。
これは最先端の結果を達成し、LIBEROでは98.6%、RoboCasa GR1では50.8%という平均的な成功率に達した。
論文 参考訳（メタデータ） (2026-03-11T06:03:53Z) - ExoGS: A 4D Real-to-Sim-to-Real Framework for Scalable Manipulation Data Collection [27.18540416686717]
ExoGSはロボットフリーの4D Real-to-Sim-to-Realフレームワークである。
実世界の静的環境と動的相互作用の両方をキャプチャし、それらをシミュレートされた環境にシームレスに転送する。
スケーラブルなデータ収集とポリシー学習のための新しいソリューションを提供する。
論文 参考訳（メタデータ） (2026-01-26T16:04:12Z) - AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis [33.90053396451562]
AnchorDreamは、ロボットデータ合成のための事前学習されたビデオ拡散モデルを再利用した、エンボディメントを意識した世界モデルである。
本手法は,環境モデリングを必要とせず,大規模で多様な高品質なデータセットにスケールする。
実験の結果、生成されたデータは下流の政策学習において一貫した改善をもたらし、シミュレータのベンチマークでは36.4%、現実世界の研究ではほぼ2倍の性能を示した。
論文 参考訳（メタデータ） (2025-12-12T18:59:45Z) - SIMS-V: Simulated Instruction-Tuning for Spatial Video Understanding [64.86119288520419]
マルチモーダル言語モデルは時間と空間の空間的推論に苦しむ。
SIMS-Vは3次元シミュレータの特権情報を利用するシステムデータ生成フレームワークである。
提案手法は,実世界の空間的タスクの具体的改善を図りながら,一般的な映像理解の性能を維持しながら,堅牢な一般化を実証する。
論文 参考訳（メタデータ） (2025-11-06T18:53:31Z) - EMMA: Generalizing Real-World Robot Manipulation via Generative Visual Transfer [35.27100635173712]
視覚言語アクション(VLA)モデルは、堅牢な一般化を達成するために、多種多様なトレーニングデータに依存している。
本稿では,VLAポリシー拡張フレームワークであるEmbodied Manipulation Media Adaptation (EMMA)を提案する。
DreamTransferは、3D構造や幾何学的妥当性を損なうことなく、ロボットビデオのテキスト制御による視覚的編集、前景、背景、照明条件の変換を可能にする。
AdaMixは、動的にトレーニングバッチを再重み付けして、知覚的あるいは運動学的に困難なサンプルに最適化する、ハードサンプル対応のトレーニング戦略である。
論文 参考訳（メタデータ） (2025-09-26T14:34:44Z) - RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。
3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。
我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
論文 参考訳（メタデータ） (2025-06-28T05:03:31Z) - Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。
本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。
筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
論文 参考訳（メタデータ） (2024-02-05T16:30:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。