論文の概要: TAPESTRY: A Single Backbone for Video Generation and Robot Control

• arxiv url: http://arxiv.org/abs/2610.36823v1
• Date: Tue, 27 Oct 2026 08:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.544646
• Title: TAPESTRY: A Single Backbone for Video Generation and Robot Control
• Title（参考訳）: TAPESTRY:ビデオ生成とロボット制御のための単一のバックボーン
• Abstract要約: 共有トランスフォーマーポリシー(TAPESTRY)におけるビデオパッチとしてのトークン化行動について紹介する。 私たちのキーとなるアイデアは、ロボットアクションをビデオモデルの潜在空間における単一パッチトークンとして扱うことです。 テスト時には、純粋なノイズから単一のDDIMステップでコンパクトなアクショントークンシーケンスを生成する。
• 参考スコア（独自算出の注目度）: 22.275586348009046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained video generation models encode rich priors about physical interactions, but leveraging them for robot control typically requires either resource-intensive video generation at test time or action heads trained from scratch that do not fully utilize the pretrained backbone. We introduce Tokenizing Actions as Video Patches in a Shared Transformer Policy (TAPESTRY), a world action model that repurposes a pretrained video diffusion transformer into a robotic policy without requiring video generation at inference. Our key idea is to treat robot actions as single-patch tokens in the video model's latent space. A lightweight linear projection maps each action timestep to the patch dimensions of the pretrained VAE, and the resulting tokens are processed by the same patchifying layers and transformer backbone used for video. The shared backbone is optimized through three diffusion objectives sampled per minibatch element: Video diffusion uses VAE latents from robot and human videos to establish dynamics priors. Joint video+action diffusion trains on robot demonstrations using a coupled diffusion timestep and an asymmetric attention mask. Action-only diffusion denoises actions conditioned on clean image latents. At test time, the model generates a compact action token sequence in a single DDIM step from pure noise, producing smooth action chunks at 84 ms per action chunk on consumer hardware and avoiding the cost of full video generation. Across simulation benchmarks and real-robot experiments, TAPESTRY achieves strong performance with substantially lower inference cost than comparable joint video--action policies. More information can be found at https://tapestry-wam.github.io.
• Abstract（参考訳）: トレーニング済みのビデオ生成モデルは、物理的相互作用に関する豊富な事前情報を符号化するが、ロボット制御にそれらを活用するには、通常、テスト時のリソース集約的なビデオ生成か、トレーニング済みのバックボーンを完全に活用しないスクラッチからトレーニングされたアクションヘッドが必要である。 本稿では,事前学習したビデオ拡散トランスフォーマーを推論時にビデオ生成を必要とせずにロボットポリシーに再利用する世界行動モデルである共有トランスフォーマーポリシー(TAPESTRY)におけるビデオパッチとしてのトークン化アクションを紹介する。 私たちのキーとなるアイデアは、ロボットアクションをビデオモデルの潜在空間における単一パッチトークンとして扱うことです。 軽量な線形投影は、各アクションタイムステップを事前訓練されたVAEのパッチ次元にマッピングし、結果として生じるトークンは、ビデオに使用される同じパッチ層とトランスフォーマーバックボーンによって処理される。 ビデオ拡散は、ロボットと人間のビデオからのVOE潜伏剤を使用して、ダイナミックス事前を確立する。 複合拡散時間ステップと非対称アテンションマスクを用いたロボットデモにおける関節ビデオ+アクション拡散訓練 アクションのみ拡散は、クリーンなイメージ潜伏者に条件付けられたアクションを認知する。 テスト時には、純粋なノイズから単一のDDIMステップでコンパクトなアクショントークンシーケンスを生成し、コンシューマハードウェア上でアクションチャンク毎84msでスムーズなアクションチャンクを生成し、フルビデオ生成のコストを回避する。 シミュレーションベンチマークや実ロボット実験を通じて、TAPESTRYは、同等のジョイントビデオアクションポリシーよりもかなり低い推論コストで、強い性能を達成している。 詳細はhttps://tapestry-wam.github.io.comで確認できる。

関連論文リスト

• SUAVE: Unified Video-Action Models via Masked Diffusion [8.58848926187245]
  視覚言語アクションモデル(VLA)は、事前訓練された視覚言語バックボーンから強力な意味基盤を継承する。 ビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)は、言語を連続的な潜伏空間における凍結条件として扱うことができる。 マスク付き拡散変換器が言語で条件付けられたビデオとアクションを生成する単一の語彙統一アクションビデオモードであるSUAVEを提案する。
  論文  参考訳（メタデータ） (2026-10-02T20:11:13Z)
• ViPRA: Video Prediction for Robot Actions [33.310474967770894]
  我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。 アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。 下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
  論文  参考訳（メタデータ） (2025-11-11T01:33:03Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• Vidar: Embodied Video Diffusion Model for Generalist Manipulation [28.216910600346512]
  Vidarは、ほとんどのエンボディメント固有のデータを転送可能なビデオに置き換える、事前駆動のローショット適応パラダイムである。 以上の結果から,強力で安価なビデオプリエントと最小限のオンロボットアライメントという,“先行的かつ多数の実施”のためのスケーラブルなレシピが示唆された。
  論文  参考訳（メタデータ） (2025-07-17T08:31:55Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。