論文の概要: WorldLine: Action-Driven Visual Simulation for Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2609.38059v1
- Date: Tue, 29 Sep 2026 17:26:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.784044
- Title: WorldLine: Action-Driven Visual Simulation for Robotic Manipulation
- Title（参考訳）: WorldLine: ロボットマニピュレーションのためのアクション駆動型ビジュアルシミュレーション
- Abstract要約: 実世界のロボット学習は、経験を収集し、候補行動を評価するコストに制約される。
異種アクショングラウンドから学習した移動可能なダイナミクスを分離する,アクション駆動型ビジュアルシミュレータ WorldLine を紹介する。
WorldLineは、1万時間以上のアクションフリーロボットビデオから操作のダイナミクスを学び、2000時間以上のアクショントラジェクトリを使ってそれらをグラウンドする。
- 参考スコア（独自算出の注目度）: 87.68211863253049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world robot learning is constrained by the cost of collecting experience and evaluating candidate behaviors. Video generation models offer a scalable foundation for visual simulators that predict action outcomes before physical execution. Yet they often favor visual plausibility over accurate action following and coherent robot--object dynamics, while action-conditioned simulators depend on scarce, embodiment-specific data that are difficult to share across incompatible control spaces. We introduce WorldLine, an action-driven visual simulator that decouples transferable dynamics learning from heterogeneous action grounding. WorldLine learns manipulation dynamics from more than 10,000 hours of action-free robot videos and grounds them using over 2,000 hours of action trajectories across more than ten embodiments. An image-space action representation provides a shared control interface across embodiments, while multi-view and failure-enriched training with relational regularization improves interaction-sensitive prediction. Robot-focused few-step distillation enables efficient causal rollout while preserving action-critical motion. Across held-out and out-of-domain settings, WorldLine maintains strong visual quality and robot-motion agreement; on failed trajectories, it improves robot-mask IoU by 0.1626 over the strongest baseline. It predicts trajectory success with 74% mean accuracy across RoboTwin and AgiBot, one percentage point above the strongest baseline. Without RoboTwin training or adaptation, its rollouts improve task success by up to 21.4 percentage points over direct policy execution. Together, these capabilities make WorldLine a scalable and efficient visual simulator for policy evaluation and embodied planning. More results are available at \href{https://zhengsh123.github.io/WorldLine/}{project page}.
- Abstract（参考訳）: 実世界のロボット学習は、経験を収集し、候補行動を評価するコストに制約される。
ビデオ生成モデルは、物理的な実行前にアクション結果を予測するビジュアルシミュレーターのスケーラブルな基盤を提供する。
動作条件付きシミュレータは、互換性のない制御空間間で共有が難しい、少ない、具体化固有のデータに依存している。
異種アクショングラウンドから学習した移動可能なダイナミクスを分離する,アクション駆動型ビジュアルシミュレータ WorldLine を紹介する。
WorldLineは、1万時間以上のアクションフリーロボットビデオから操作のダイナミクスを学び、2000時間以上のアクショントラジェクトリを10以上のエボディメントで使用した。
画像空間のアクション表現は、エボディメントをまたいだ共有制御インターフェースを提供するが、マルチビューおよびリレーショナル正規化による障害強化トレーニングは、インタラクションに敏感な予測を改善する。
ロボットに焦点をあてた数ステップの蒸留は、行動クリティカルな動作を保ちながら効率的な因果ロールアウトを可能にする。
WorldLineは、保持された領域外の設定全体にわたって、強い視覚的品質とロボットモーションの合意を維持しており、失敗した軌道上では、最強のベースラインに対してロボットマスクIoUを0.1626改善している。
RoboTwinとAgiBotで74%の精度で軌道上の成功を予測している。
RoboTwinのトレーニングや適応がなければ、ロールアウトによって、直接的なポリシー実行よりも最大21.4ポイントのタスク成功が向上する。
これらの機能により、WorldLineはポリシー評価と具体化計画のためのスケーラブルで効率的なビジュアルシミュレータとなる。
さらなる結果は \href{https://zhengsh123.github.io/WorldLine/}{project page} で見ることができる。
関連論文リスト
- Real2Gym: Building Gyms from Videos, Bringing Skills to Robots [19.362310545356344]
我々はReal2Gymを紹介した。Real2Sim2Realフレームワークは人間とロボットのデモをインタラクティブなシミュレーションジムに変える。
Real2Simモジュールは編集可能なシーンを再構築し、オブジェクトとカメラを入力に合わせる。
これらの環境では、エージェントは操作段階の実行可能なコードを生成し、結果を観察し、成功した試行と失敗を再利用可能なタスク手順に蒸留する。
論文 参考訳（メタデータ） (2026-09-29T09:16:49Z) - AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。
アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。
本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
論文 参考訳（メタデータ） (2026-09-16T14:07:06Z) - Hydra-0: Action Flow for Generalist World Modeling and Control [64.88849745875753]
Hydra-0はアクションフローを条件とした世界モデルであり、ロボットの動きをピクセルの動きとして表現している。
我々の最良の構成は、90.4%のロボットモーションエラー、60.2%のオブジェクトモーションエラーを達成する。
訓練されたアクションヘッドは、タスク固有の専門家ロボットのデモンストレーションを必要とせずに、得られた潜在機能を実行可能なアクションにマッピングする。
論文 参考訳（メタデータ） (2026-08-18T17:59:30Z) - JoyAI-RA 0.5: Scaling Robot Manipulation Learning via Dual Action Alignment [0.0]
本研究では,物理世界力学と視覚的意味論を結びつけるフレームワークであるJoyAI-RA 0.5を提案する。
インシシットアクションアライメントは、視覚的な遷移から潜在アクションを推論し、アクションフリーな人間、シミュレーション、ロボットデータを可能にする。
JoyAI-RAは、実際のAgiBotベンチマークで見られるタスクと見えないバリエーションの両方に強く依存する。
論文 参考訳（メタデータ） (2026-08-06T07:14:55Z) - CORE: Common Outcome Regularities from Action-Free Visual Demonstrations for Robot Manipulation [26.48033419994886]
COREは、視覚的なデモンストレーションから共通アウトカム規則を抽出するポリシー学習フレームワークである。
同じタスクで成功した軌道は多種多様であるが、その終端状態はしばしば安定したオブジェクト構成を共有する。
論文 参考訳（メタデータ） (2026-06-28T17:27:23Z) - From Human Hands to Robot Arms: Manipulation Skills Transfer via Trajectory Alignment [36.08997778717271]
現実世界のロボットの多様な操作スキルを学ぶことは、高価でスケールの難しい遠隔操作によるデモンストレーションに依存することでボトルネックとなる。
本稿では,操作終端の3次元軌跡を統一中間表現として利用することにより,この実施ギャップを橋渡しする新しいフレームワークであるTraj2Actionを紹介する。
我々の方針はまず,人間とロボットの両方のデータを活用することで,高レベルの運動計画を形成する粗い軌道を生成することを学習する。
論文 参考訳（メタデータ） (2025-10-01T04:21:12Z) - IRASim: A Fine-Grained World Model for Robot Manipulation [24.591694756757278]
本稿では,ロボットとオブジェクトのインタラクションの詳細を詳細に表現したビデオを生成する新しい世界モデルIRASimを提案する。
拡散変圧器を訓練し、各変圧器ブロック内に新しいフレームレベル動作条件モジュールを導入し、アクションフレームアライメントを明示的にモデル化し強化する。
論文 参考訳（メタデータ） (2024-06-20T17:50:16Z) - Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。
私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。
学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
論文 参考訳（メタデータ） (2024-05-02T17:56:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。