論文の概要: ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?

• arxiv url: http://arxiv.org/abs/2606.19531v1
• Date: Wed, 17 Jun 2026 19:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.50109
• Title: ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?
• Title（参考訳）: ImageWAM:世界アクションモデルにはビデオ生成が必要か、それとも単に画像編集が必要か?
• Authors: Yuyang Zhang, Wenyao Zhang, Zekun Qi, He Zhang, Haitao Lin, Jingbo Zhang, Yao Mu, Xiaokang Yang, Wenjun Zeng, Xin Jin,
• Abstract要約: 本稿では,ロボット行動予測のための事前学習画像編集モデルを再利用するフレームワークであるImageWAMを提案する。 ImageWAMは、推論時にターゲットフレームをデコードせず、代わりにKVキャッシュ上でフローマッチングアクションエキスパートを条件にしている。 また、FLOPを1/6に、レイテンシを1/4に短縮する。
• 参考スコア（独自算出の注目度）: 70.07849531480132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World Action Models (WAMs) commonly rely on video generation to bridge visual world modeling and robot control. However, video-based WAMs face three coupled limitations: dense multi-frame future tokens make inference costly, full video prediction spends capacity on action-irrelevant temporal and appearance details, and long-horizon future imagination may introduce errors that mislead action prediction. These issues raise a simple question: Does world action model really need video generation? We propose ImageWAM, a simple WAM framework that repurposes pretrained image editing models for robot action prediction. In contrast to video generation, image editing provides a better-matched prior: it only needs to model a target-frame transformation, focuses on action-relevant current-to-target visual differences, and grounds task instructions to localized visual changes through edit pretraining. In practice, ImageWAM does not decode the target frame at inference time; instead, it conditions a flow-matching action expert on the KV caches produced by image-editing denoising, using them as a compact world-action context. ImageWAM outperforms standard VLA baselines and matching competitive WAMs without additional policy pretraining across different simulator and real-world experiments. It also reduces FLOPs to 1/6 and latency to 1/4 of video-based WAMs. Attention analysis further shows that editing caches focus on task-relevant change regions, supporting image editing as an effective alternative to video-based world-action modeling.
• Abstract（参考訳）: World Action Models (WAM) は、視覚世界モデリングとロボット制御を橋渡しするビデオ生成に依存している。 しかし、ビデオベースのWAMには3つの制約がある: 密集した多フレームの未来のトークンは推論にコストがかかり、フルビデオ予測はアクションに関係のない時間的および外観の詳細にキャパシティを費やす。 世界アクションモデルは本当にビデオ生成を必要としているのか? 本稿では,ロボット行動予測のための事前学習画像編集モデルを再利用した,シンプルなWAMフレームワークであるImageWAMを提案する。 ビデオ生成とは対照的に、画像編集は、より整合した事前情報を提供する: ターゲット・フレーム変換をモデル化し、アクション関連の現在・ターゲットの視覚的差異に焦点を当て、編集事前訓練を通じてタスク命令を局所的な視覚的変化に基礎付ける。 実際には、ImageWAMは推論時にターゲットフレームをデコードせず、画像編集で生成されたKVキャッシュにフローマッチングアクションエキスパートを条件として、コンパクトなワールドアクションコンテキストとして使用する。 ImageWAMは標準的なVLAベースラインと競合するWAMよりも優れており、異なるシミュレータや実世界の実験に事前訓練を加えることなく性能が向上する。 また、FLOPを1/6に、レイテンシを1/4に短縮する。 さらにアテンション分析により、編集キャッシュはタスク関連変更領域に焦点が当てられ、映像編集がビデオベースのワールドアクションモデリングの効果的な代替手段であることが示された。

関連論文リスト

• SWEET: Sparse World Modeling with Image Editing for Embodied Task Execution [61.612676324369595]
  画像編集モデルがロボット操作のための疎視世界モデルとして機能するかどうかを考察する。 本稿では,一括予測型視覚計画フレームワークSWEETを提案する。 DROIDとRoboMimicの実験では、SWEETは見知らぬシーンの予測を改善している。
  論文  参考訳（メタデータ） (2026-05-19T03:54:46Z)
• Action Images: End-to-End Policy Learning via Multiview Video Generation [70.67042168383638]
  我々は、ポリシー学習をマルチビュービデオ生成として定式化する統合世界アクションモデルであるAction Imagesを提案する。 本モデルでは,従来のビデオ空間モデルに比べて,最強のゼロショット成功率を実現し,ビデオアクションジョイント生成品質を向上させる。
  論文  参考訳（メタデータ） (2026-04-07T17:59:30Z)
• RealGeneral: Unifying Visual Generation via Temporal In-Context Learning with Video Models [22.042487298092883]
  RealGeneralは、条件付きフレーム予測タスクとして画像生成を再構成する新しいフレームワークである。 カスタマイズされた生成の被写体類似性が14.5%向上し、キャニー・ツー・イメージの画質が10%向上した。
  論文  参考訳（メタデータ） (2025-03-13T14:31:52Z)
• FramePainter: Endowing Interactive Image Editing with Video Diffusion Priors [64.54220123913154]
  本稿では,画像から映像への効率のよい生成問題としてFramePainterを紹介した。 軽量のスパース制御エンコーダのみを使用して編集信号を注入する。 従来の最先端の手法をはるかに少ないトレーニングデータで上回ります。
  論文  参考訳（メタデータ） (2025-01-14T16:09:16Z)
• VASE: Object-Centric Appearance and Shape Manipulation of Real Videos [108.60416277357712]
  本研究では,オブジェクトの外観と,特にオブジェクトの精密かつ明示的な構造的変更を実行するために設計された,オブジェクト中心のフレームワークを紹介する。 我々は,事前学習した画像条件拡散モデル上にフレームワークを構築し,時間次元を扱うためのレイヤを統合するとともに,形状制御を実現するためのトレーニング戦略とアーキテクチャ修正を提案する。 我々は,画像駆動映像編集タスクにおいて,最先端技術に類似した性能を示し,新しい形状編集機能を示す手法について検討した。
  論文  参考訳（メタデータ） (2024-01-04T18:59:24Z)
• Pix2Video: Video Editing using Image Diffusion [43.07444438561277]
  テキスト誘導映像編集における事前学習画像モデルの使用方法について検討する。 まず、事前訓練された構造誘導画像拡散モデルを用いて、アンカーフレーム上でテキスト誘導編集を行う。 我々は、計算集約的な事前処理やビデオ固有の微調整なしに、リアルなテキスト誘導ビデオ編集が可能であることを実証した。
  論文  参考訳（メタデータ） (2023-03-22T16:36:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。