論文の概要: An Action Is Worth One Patch: Unified World-Action Modeling with PatchWAM

• arxiv url: http://arxiv.org/abs/2609.25961v1
• Date: Tue, 22 Sep 2026 10:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.316923
• Title: An Action Is Worth One Patch: Unified World-Action Modeling with PatchWAM
• Title（参考訳）: PatchWAMを使ったワールド・アクション・モデリング
• Abstract要約: 私たちはPatchWAMを紹介します。これは、Action-as-Patchと呼ばれる固定マッピングを通じて、継続的アクションを別のタイプのパッチとして扱うものです。 これにより、単一のモデルでロボットの動きを予測し、その後のシーンがどうなるかを予測することができる。 サブサンプルのトレーニングウィンドウを用いた実験では、一致したデュアルエキスパートコントロールよりも向上し、ベンチマーク評価はLIBERO-Plusで91.8%、RoboTwin 2.0で96.12%に達した。
• 参考スコア（独自算出の注目度）: 19.961006560121543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative visual models offer a foundation for learning representations of physical dynamics, yet their extension to continuous control raises a fundamental question: do visual prediction and action generation require separate computational pathways? Existing approaches usually introduce trainable action heads or separate action experts to bridge low-dimensional states and high-dimensional visual representations. In this work, we explore whether the visual backbone's existing capacity can also support control when actions are expressed in a compatible representation. Thus, we introduce PatchWAM (Patch World-Action Model), which treats continuous actions as another type of patch through a fixed mapping called Action-as-Patch. This allows a single model to predict both how the robot should move and what the scene may look like afterward. Visual prediction and action generation become parts of the same generative process, without a dedicated action head or separate action expert. Experiments with subsampled training windows show gains over a matched dual-expert control, while benchmark evaluations reach 91.8% success rate on LIBERO-Plus and 96.12% on RoboTwin 2.0 in a full-data setting with additional augmented demonstrations. More broadly, the result suggests that capability need not be added where it can be inherited: the constraint on extending a generative backbone is the interface a new signal is written in, not the capacity to model it.
• Abstract（参考訳）: 生成的視覚モデルは物理力学の表現を学習するための基盤を提供するが、連続制御への拡張は根本的な疑問を提起する: 視覚予測とアクション生成は別個の計算経路を必要とするか? 既存のアプローチは通常、訓練可能なアクションヘッドや別のアクションエキスパートを導入して、低次元の状態と高次元の視覚表現をブリッジする。 本研究では、視覚バックボーンの既存の能力が、動作が互換性のある表現で表現されるときの制御をサポートするかどうかを考察する。 そこで我々は,PatchWAM (Patch World-Action Model)を導入し,Action-as-Patchと呼ばれる固定されたマッピングを通じて,継続的なアクションを別のタイプのパッチとして扱う。 これにより、単一のモデルでロボットの動きを予測し、その後のシーンがどうなるかを予測することができる。 視覚的予測とアクション生成は、専用のアクションヘッドや別々のアクションエキスパートなしで、同じ生成プロセスの一部になる。 サブサンプルのトレーニングウィンドウを用いた実験では、一致したデュアルエキスパートコントロールよりも向上し、ベンチマーク評価はLIBERO-Plusで91.8%、RoboTwin 2.0で96.12%に達した。 生成バックボーンの拡張に関する制約は、それをモデル化する能力ではなく、新しいシグナルが記述されたインターフェースである。

関連論文リスト

• World Action Models: A Survey [100.95337034529263]
  ワールドアクションモデル(World Action Models, WAM)は、将来を予測できる予測モデルである。 近年のWAMは大規模なビデオ生成モデルを再利用しており、並列線はビデオ生成コアを持たない言語や視覚言語によるバックボーンに依存している。 この調査は、フィールドに共通の説明を与えます。まず、これらの境界を明確にし、2つの補完的な視点で既存の作業を整理します。
  論文  参考訳（メタデータ） (2026-06-18T17:05:19Z)
• RepWAM: World Action Modeling with Representation Visual-Action Tokenizers [120.87642891397853]
  RepWAMは表現中心の世界アクションモデルであり、視覚アクショントークン化器をベースとしている。 我々は、視覚的な入力を協調した視覚的および潜在的なアクショントークンにマッピングする表現的アクショントークンーを訓練する。 次に、将来的な視覚状態と、それらを言語命令で接続する潜在アクションを共同でモデル化するように、WAMを事前訓練する。
  論文  参考訳（メタデータ） (2026-06-11T17:59:43Z)
• Precise Action-to-Video Generation Through Visual Action Prompts [62.951609704196485]
  アクション駆動のビデオ生成は、精度と一般性のトレードオフに直面している。 エージェント中心のアクション信号は、クロスドメイン転送可能性のコストで精度を提供する。 私たちはアクションをドメインに依存しない表現として正確に視覚的なプロンプトに"レンダリング"します。
  論文  参考訳（メタデータ） (2025-08-18T17:12:28Z)
• ExPLAIND: Unifying Model, Data, and Training Attribution to Study Model Behavior [39.590138981646696]
  ポストホックの解釈可能性のメソッドは、通常、モデルの振る舞いをそのコンポーネント、データ、または独立した訓練軌跡に関連付ける。 これらの観点をすべて統合した統合フレームワークであるExPLAINDを紹介します。
  論文  参考訳（メタデータ） (2025-05-26T14:53:11Z)
• ActFusion: a Unified Diffusion Model for Action Segmentation and Anticipation [66.8640112000444]
  時間的アクションセグメンテーションと長期的アクション予測は、ビデオにおけるアクションの時間的分析のための一般的なビジョンタスクである。 本稿では,アクトフュージョンと呼ばれる統合拡散モデルを用いて,アクションセグメンテーションとアクション予測という2つの課題に取り組む。 我々は,映像フレームの後半部分を見えないものとして隠蔽し,学習可能なトークンをこれらのフレームに置き換えて,目に見えない未来を予測する,新たな予測マスク戦略を導入する。
  論文  参考訳（メタデータ） (2024-12-05T17:12:35Z)
• Early Action Recognition with Action Prototypes [62.826125870298306]
  本稿では,各クラスに対するフルアクションのプロトタイプ表現を学習する新しいモデルを提案する。 映像を短いクリップに分解し、視覚エンコーダがそれぞれのクリップから特徴を独立して抽出する。 その後、デコーダは、最終クラスの予測のために、すべてのクリップからオンラインのファッション機能として集約される。
  論文  参考訳（メタデータ） (2023-12-11T18:31:13Z)
• Actionlet-Dependent Contrastive Learning for Unsupervised Skeleton-Based Action Recognition [33.68311764817763]
  本稿では,ActCLR(Actionlet-Dependent Contrastive Learning Method)を提案する。 ヒト骨格の識別サブセットとして定義されるアクションレットは、より優れたアクションモデリングのために、効果的に運動領域を分解する。 異なるデータ変換がアクションレットおよび非アクションレット領域に適用され、独自の特性を維持しながら、より多くの多様性を導入する。
  論文  参考訳（メタデータ） (2023-03-20T06:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。