論文の概要: X-World: Transferring Video Priors to Variable-View Robot Control
- arxiv url: http://arxiv.org/abs/2610.34105v1
- Date: Sun, 25 Oct 2026 07:02:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.536195
- Title: X-World: Transferring Video Priors to Variable-View Robot Control
- Title（参考訳）: X-World: 可変視点ロボット制御に先立って動画を転送する
- Abstract要約: X-Worldは、固定長のトークンシーケンスで事前にビデオを共有アクションエキスパートに転送するフレームワークである。
残りのクロスビューアテンションブランチは、トレーニング済みのビデオバックボーンを元の自己注意パスを維持しながら、1、2、3ビューに拡張する。
6つのデュアルアームの現実世界のタスクでは、タスク当たり20回の試行で81.7%の成功を達成している。
- 参考スコア（独自算出の注目度）: 12.288304086673861
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video diffusion models provide a source of interaction representations for robot control, but transferring these representations requires reconciling variable camera inputs with heterogeneous action interfaces and closed-loop execution. We present X-World, a framework that transfers a video prior through a fixed-length token sequence to a shared action expert. A residual cross-view attention branch extends a pretrained video backbone to one, two, or three views while retaining its original self-attention path. A layer-aligned Q-Former aggregates backbone features, and dataset-specific modules map between native state and action interfaces and the shared action expert. Training separates video adaptation from action-only pretraining by freezing the video backbone in the latter stage, followed by joint target-domain post-training. The policy extracts video features with a single backbone pass and uses asynchronous action chunking for execution. On LIBERO, X-World reaches 98.5\% mean success; its LIBERO-trained checkpoint obtains 76.5\% on LIBERO-Plus without further adaptation. The seven-shift breakdown reveals gains in robot, language, lighting, and layout perturbations, alongside weaknesses under camera, background, and noise shifts relative to OpenVLA-OFT. On six dual-arm real-world tasks, it achieves 81.7\% mean success over 20 trials per task. Removing video adaptation or cross-view fusion produces the largest observed success drops among the tested removals.
- Abstract（参考訳）: ビデオ拡散モデルは、ロボット制御のための相互作用表現のソースを提供するが、これらの表現を転送するには、異種アクションインタフェースと可変カメラ入力の整合と閉ループ実行が必要である。
X-Worldは、固定長のトークンシーケンスで事前にビデオを共有アクションエキスパートに転送するフレームワークである。
残りのクロスビューアテンションブランチは、トレーニング済みのビデオバックボーンを元の自己注意パスを維持しながら、1、2、3ビューに拡張する。
レイヤアラインのQ-Formerはバックボーン機能を集約し、データセット固有のモジュールはネイティブの状態とアクションインターフェースと共有アクションエキスパートの間でマップされる。
トレーニングは、ビデオバックボーンを凍らせることで、アクションのみの事前トレーニングからビデオ適応を分離し、その後、共同ターゲットドメインのポストトレーニングを行う。
このポリシーは、単一のバックボーンパスでビデオ機能を抽出し、実行に非同期アクションチャンキングを使用する。
LIBEROでは、X-Worldは98.5 %、LIBEROで訓練されたチェックポイントはさらなる適応なしに76.5 %に達する。
7シフトのブレークダウンは、ロボット、言語、照明、レイアウトの混乱、そしてOpenVLA-OFTに対するカメラ、バックグラウンド、ノイズシフトの弱点を浮き彫りにする。
6つのデュアルアームの現実世界のタスクでは、タスク当たりの20回のトライアルで81.7%の成功を達成している。
ビデオ適応の除去やクロスビュー融合は、テストされた除去のうち、最も大きな成功率の低下をもたらす。
関連論文リスト
- Multi-View Latent Action Pretraining for Cross-Embodiment Robot Learning from Videos [7.54309578764991]
ラテントアクションモデル(LAM)は、フレーム間の抽象的なアクションを推論することによって、ビデオを監視信号に変換する。
両視点LAMプレトレーニングは, 単視点に比べ, 接地トラス6D動作のデオードビリティを17%向上させることを示した。
結果はハードウェアに転送され、850回のロールアウトでアクションのみのポリシーよりも、人間の手による成功率を+20%向上させる。
論文 参考訳（メタデータ） (2026-10-20T07:55:43Z) - EVO-WAM: Evolving World Action Models through Video-Action Verification [51.68210232964847]
EVO-WAMは、自身の生成したビデオアクション軌跡から学習することで、WAMを見えないタスクに適応するフレームワークである。
コスモス3の平均成功率は20.0%から76.7%に改善され、56.7%となった。
論文 参考訳（メタデータ） (2026-09-29T17:25:35Z) - FutureDuet: Decoupling Observation Access from Future Supervision in World Action Models [17.521920330076366]
我々はFutureDuetを導入し、両ビューを制御し、各ビジュアルストリームが異なる未来目標を受信できるようにする。
メインビューでは、将来のRGBモデルはタスクの進化をモデル化し、インタラクションマスクとロボットスケルトンはタスクオブジェクトとロボットの動きを監督する。
手首ストリームでは、将来の潜伏予測は画素レベルの再構成を必要とせず、短水平相互作用の変化をモデル化する。
論文 参考訳（メタデータ） (2026-09-28T05:39:09Z) - MT-WAM: Reorienting the One-Pass Predictive Representation Toward Action Generation [8.200221267664881]
Fast-WAMは、将来の動画を推論時に生成することなく、ビデオアクションの協調訓練が制御を改善することを示す。
MT-WAMは,本来の訓練目標を維持し,将来の2次元点軌跡と視覚的特徴を補完的に監視する。
論文 参考訳（メタデータ） (2026-09-18T08:23:15Z) - Video2DoorTraversal: Push Door Traversal via Simulated Door Twins [22.370408659165516]
Video2DoorTraversal(ビデオ2ドアトラバーサル)は、車輪のついた移動体マニピュレータのための実物から実物へのフレームワークである。
DoorTwinは、リアルな幾何学と外観で、インスタンス整列、調音、シミュレーション可能なドアツインを再構築する。
システムは5つの実際のドアの平均成功率96.57%、構造的に類似しないドアでのゼロショット成功率80.95%を達成する。
論文 参考訳（メタデータ） (2026-08-20T16:46:57Z) - KAM-WM: Kinematic Affordance Maps from Latent World Models for Robot Manipulation [12.364119683882015]
KAM-WMは,凍結遅延ビデオワールドモデルから粗い方向の相互作用キューを抽出するフレームワークである。
LIBEROとRoboTwin2.0全体で、KAM-WMは平均で90.6%の成功、65.7%、22.4%の成功となっている。
論文 参考訳（メタデータ） (2026-07-06T04:17:15Z) - ActionMap: Robot Policy Learning via Voxel Action Heatmap [61.10410508218428]
ActionMapは、ネイティブアクションデコーダの代わりに既存のVLAにドロップする。
Heatmapヘッドは、マッチしたトレーニングステップで、2つのアーキテクチャ的に異なるバックボーンを越えます。
クロスバックボーン一貫性は、アクション表現がVLAパフォーマンスの真のレバーであることを示している。
論文 参考訳（メタデータ） (2026-06-05T04:42:56Z) - VideoAgentTrek: Computer Use Pretraining from Unlabeled Videos [62.29924199978745]
VideoAgentTrekは、Webスケールで公開されているスクリーン録画ビデオからトレーニングデータを自動的にマイニングするスケーラブルなパイプラインである。
生のビデオには暗黙のデモが含まれているが、明示的なアクションラベルがない。
39,000のYouTubeチュートリアルビデオに適用されたパイプラインは、自動的に1250万のインタラクションステップを生成します。
論文 参考訳（メタデータ） (2025-10-22T11:25:48Z) - PoseDiff: A Unified Diffusion Model Bridging Robot Pose Estimation and Video-to-Action Control [67.17998939712326]
本稿では,ロボットの状態推定と制御を単一のフレームワーク内で統一する条件拡散モデルPoseDiffを提案する。
中心となるPoseDiffは、生の視覚を3Dキーポイントや関節角などの構造化されたロボットの状態にマッピングする。
この基盤の上に構築されたPoseDiffは、ビデオからアクションへの逆ダイナミクスに自然に拡張する。
論文 参考訳（メタデータ） (2025-09-29T10:55:48Z) - ASCNet: Self-supervised Video Representation Learning with
Appearance-Speed Consistency [62.38914747727636]
本研究では,1)明示的な監督のためのラベルの欠如,2)構造化されていない,ノイズの多い視覚情報による自己指導型映像表現学習について検討する。
既存の方法は、主にビデオクリップをインスタンスとしてコントラスト損失を使用し、互いにインスタンスを識別することで視覚的表現を学ぶ。
本稿では,ロバストな映像表現を学ぶ上で,正のサンプル間の一貫性が鍵となることを観察する。
論文 参考訳（メタデータ） (2021-06-04T08:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。