論文の概要: CRAFT: Video Diffusion for Bimanual Robot Data Generation

• arxiv url: http://arxiv.org/abs/2604.03552v1
• Date: Sat, 04 Apr 2026 02:36:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.634931
• Title: CRAFT: Video Diffusion for Bimanual Robot Data Generation
• Title（参考訳）: CRAFT:双方向ロボットデータ生成のためのビデオ拡散
• Authors: Jason Chen, I-Chun Arthur Liu, Gaurav Sukhatme, Daniel Seita,
• Abstract要約: 実世界のデータのコストと狭い視覚的多様性によって、デモから双方向のロボット学習が根本的に制限される。 ビデオ拡散変換器(CRAFT)を用いたCanny-Guided Robotデータ生成について述べる。 CRAFTは、アクションラベルを作成しながら、時間的にコヒーレントな操作ビデオを合成する。
• 参考スコア（独自算出の注目度）: 3.1921574296387916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bimanual robot learning from demonstrations is fundamentally limited by the cost and narrow visual diversity of real-world data, which constrains policy robustness across viewpoints, object configurations, and embodiments. We present Canny-guided Robot Data Generation using Video Diffusion Transformers (CRAFT), a video diffusion-based framework for scalable bimanual demonstration generation that synthesizes temporally coherent manipulation videos while producing action labels. By conditioning video diffusion on edge-based structural cues extracted from simulator-generated trajectories, CRAFT produces physically plausible trajectory variations and supports a unified augmentation pipeline spanning object pose changes, camera viewpoints, lighting and background variations, cross-embodiment transfer, and multi-view synthesis. We leverage a pre-trained video diffusion model to convert simulated videos, along with action labels from the simulation trajectories, into action-consistent demonstrations. Starting from only a few real-world demonstrations, CRAFT generates a large, visually diverse set of photorealistic training data, bypassing the need to replay demonstrations on the real robot (Sim2Real). Across simulated and real-world bimanual tasks, CRAFT improves success rates over existing augmentation strategies and straightforward data scaling, demonstrating that diffusion-based video generation can substantially expand demonstration diversity and improve generalization for dual-arm manipulation tasks. Our project website is available at: https://craftaug.github.io/
• Abstract（参考訳）: 実世界のデータのコストと狭い視覚的多様性によって、実演からの双方向ロボット学習は基本的に制限されている。 本稿では,Canny-guided Robot Data Generation using Video Diffusion Transformers (CRAFT)について述べる。 CRAFTは、シミュレータ生成された軌道から抽出されたエッジベースの構造的キューにビデオ拡散を条件にすることにより、物理的に可塑性な軌道変化を発生させ、オブジェクトのポーズの変化、カメラの視点、照明と背景のバリエーション、クロス・エボディメント・トランスファー、マルチビュー・シンセサイザをサポートする。 予め訓練されたビデオ拡散モデルを用いて、シミュレーショントラジェクトリからのアクションラベルとともに、シミュレートされた動画をアクション一貫性のあるデモに変換する。 ごく少数の実世界のデモから始めて、CRAFTは視覚的に多様なフォトリアリスティックなトレーニングデータを生成し、実際のロボットでデモを再生する必要をなくす(Sim2Real)。 CRAFTは、シミュレーションされた実世界の双方向タスク全体にわたって、既存の拡張戦略や単純なデータスケーリングよりも成功率を向上し、拡散ベースのビデオ生成がデモンストレーションの多様性を大幅に拡大し、デュアルアーム操作タスクの一般化を改善することを実証する。 プロジェクトのWebサイトは以下の通りです。

関連論文リスト

• DRAW2ACT: Turning Depth-Encoded Trajectories into Robotic Demonstration Videos [24.681248200255975]
  ビデオモデルは、組み込みAIのための強力な現実世界シミュレータを提供するが、ロボット操作の制御性には制限がある。 入力軌跡から複数の表現を抽出するトラジェクトリ条件付きビデオ生成フレームワークであるDRAW2ACTを提案する。 DRAW2ACTは、既存のベースラインよりも高い操作成功率を示しながら、より優れた視覚的忠実度と一貫性を実現する。
  論文  参考訳（メタデータ） (2025-12-16T09:11:36Z)
• Vidar: Embodied Video Diffusion Model for Generalist Manipulation [28.216910600346512]
  Vidarは、ほとんどのエンボディメント固有のデータを転送可能なビデオに置き換える、事前駆動のローショット適応パラダイムである。 以上の結果から,強力で安価なビデオプリエントと最小限のオンロボットアライメントという,“先行的かつ多数の実施”のためのスケーラブルなレシピが示唆された。
  論文  参考訳（メタデータ） (2025-07-17T08:31:55Z)
• Robotic Manipulation by Imitating Generated Videos Without Physical Demonstrations [19.28925489415787]
  RIGVidは、AI生成ビデオの模倣により、ロボットが複雑な操作タスクを実行できる。 ビデオ拡散モデルは潜在的なデモビデオを生成し、視覚言語モデルはコマンドに従わない結果を自動的にフィルタリングする。 6Dポーズトラッカーは、ビデオからオブジェクトの軌跡を抽出し、その軌跡をエンボディメント非依存の方法でロボットに再ターゲティングする。
  論文  参考訳（メタデータ） (2025-07-01T17:39:59Z)
• RoboPearls: Editable Video Simulation for Robot Manipulation [81.18434338506621]
  RoboPearlsは、ロボット操作のための編集可能なビデオシミュレーションフレームワークである。 3D Gaussian Splatting (3DGS)に基づいて構築されたRoboPearlsは、フォトリアリスティックでビュー一貫性のあるシミュレーションの構築を可能にする。 我々は、RLBench、COLOSSEUM、Ego4D、Open X-Embodiment、現実世界のロボットなど、複数のデータセットやシーンで広範な実験を行う。
  論文  参考訳（メタデータ） (2025-06-28T05:03:31Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• Video Creation by Demonstration [59.389591010842636]
  我々は、条件付き将来のフレーム予測によってラベルなしビデオから学習する自己教師型トレーニングアプローチである$delta$-Diffusionを提案する。 映像基盤モデルと外観ボトルネック設計を併用して,実演映像から動作遅延を抽出し,生成プロセスの条件付けを行う。 実証的に、$delta$-Diffusionは人間の好みと大規模マシン評価の両方の観点から、関連するベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-12-12T18:41:20Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。