論文の概要: iMaC: Translating Actions into Motion and Contact Images for Embodied World Models

• arxiv url: http://arxiv.org/abs/2606.09813v1
• Date: Mon, 08 Jun 2026 17:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.678982
• Title: iMaC: Translating Actions into Motion and Contact Images for Embodied World Models
• Title（参考訳）: iMaC:身体的世界モデルのための動作と接触画像へのアクションの翻訳
• Authors: Zhenyu Wu, Xiuwei Xu, Yukun Zhou, Yifan Li, Qiuping Deng, Xiaofeng Wang, Zheng Zhu, Bingyao Yu, Ziwei Wang, Jiwen Lu, Haibin Yan,
• Abstract要約: 身体的世界モデルは、視覚ロボットによる意思決定と対話型環境シミュレーションのための重要なパラダイムとして登場した。 本稿では,実画像を実世界モデルのためのネイティブアクション表現として扱う,新しい統一制御パラダイムである「イメージ・アズ・アクション・コントロール」を提案する。
• 参考スコア（独自算出の注目度）: 77.395425755122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied world models have emerged as a pivotal paradigm for visual robotic decision-making and interactive environment simulation. However, conventional embodied frameworks rely on low-dimensional structured action vectors (e.g., joint angles and end-effector poses), which suffer from limited expressive capacity, poor generalization across diverse embodiments, and unnatural dynamic modeling for complex physical interactions. To address these limitations, this paper proposesiMac (Image as Action Control), a novel unified control paradigm that treats raw visual images as native action representations for embodied world models. Departing from traditional explicit kinematic action encoding, iMac formulates continuous visual manipulation as image-based action tokens, which inherently encapsulate spatial motion intentions, interactive geometric constraints and subtle physical dynamics. We construct a dual-branch embodied architecture consisting of an image-action encoder and a dynamic world predictor: the encoder compresses target-driven visual images into compact action embeddings, while the predictor learns environment transition rules conditioned on image actions to achieve high-fidelity future state prediction and closed-loop embodied control. Extensive experiments are conducted on public embodied manipulation benchmarks and real-world robotic scenarios. The results demonstrate that iMac outperforms vector-based action control baselines in prediction accuracy, task success rate and cross-scene generalization ability. Moreover, our image-action design eliminates the reliance on manually defined action spaces, realizing flexible and universal control for heterogeneous embodied agents. This work provides an innovative visual-action perspective for embodied world models, offering a simple yet effective paradigm for scalable robotic perception and manipulation.
• Abstract（参考訳）: 身体的世界モデルは、視覚ロボットによる意思決定と対話型環境シミュレーションのための重要なパラダイムとして登場した。 しかし、従来のエンボディドフレームワークは、表現能力の制限、多様なエンボディメントの一般化の低さ、複雑な物理的相互作用に対する非自然な動的モデリングに苦しむ低次元の構造化されたアクションベクトル(例えば、関節角や端効果のポーズ)に依存している。 これらの制約に対処するため,本論文では,生画像を実世界モデルのためのネイティブアクション表現として扱う,新しい統一制御パラダイムである「イメージ・アズ・アクション・コントロール」を提案する。 従来の明示的なキネマティックなアクションエンコーディングとは別に、iMacは連続的な視覚操作をイメージベースのアクショントークンとして定式化し、空間的な動きの意図、インタラクティブな幾何学的制約、微妙な物理力学を本質的にカプセル化している。 本研究では,イメージ・アクション・エンコーダとダイナミックワールド・予測器から構成されるデュアルブランチ・エンボディ・アーキテクチャを構築する。エンコーダはターゲット駆動型視覚画像をコンパクトなアクション・埋め込みに圧縮し,予測器はイメージ・アクションに規定された環境遷移規則を学習し,高忠実な将来の状態予測と閉ループ・エンボディ・コントロールを実現する。 公的な操作ベンチマークと実世界のロボットシナリオに関する大規模な実験が実施されている。 その結果,iMacは,予測精度,タスク成功率,クロスシーン一般化能力において,ベクトルベースアクション制御ベースラインよりも優れていた。 さらに,手動で定義したアクション空間への依存を排除し,不均一なエンボディエージェントに対する柔軟で普遍的な制御を実現する。 この研究は、ロボットの知覚と操作をスケーラブルにするための、シンプルで効果的なパラダイムを提供する。

関連論文リスト

• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• ACWM-Phys: Investigating Generalized Physical Interaction in Action-Conditioned Video World Models [30.527810700174488]
  行動条件付き世界モデル(ACWM)は,映像の予測と意思決定に強く期待されている。 本稿では,多様な物理力学下での行動条件予測のための新しいベンチマークであるACWM-Physを紹介する。
  論文  参考訳（メタデータ） (2026-05-09T00:00:47Z)
• EA-WM: Event-Aware Generative World Model with Structured Kinematic-to-Visual Action Fields [15.319293934673915]
  本稿では,運動制御と視覚知覚のループを閉じるイベントウェア生成世界モデルEA-WMを提案する。 イベント認識型双方向核融合ブロックを導入し、クロスブランチの注意を変調し、オブジェクトの状態変化と正確な相互作用のダイナミクスを捉える。 EA-WMは最先端のパフォーマンスを達成し、既存のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-05-07T13:06:19Z)
• Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation [57.28703268044067]
  ロボット操作のための新しいデュアルストリームビュー変換器であるCortical Policyを提案する。 われわれのフレームワークは、ロボット操作の新しい視点を提供し、視覚に基づくロボット制御の幅広い応用の可能性を秘めている。
  論文  参考訳（メタデータ） (2026-03-22T04:18:54Z)
• Do-Undo: Generating and Reversing Physical Actions in Vision-Language Models [57.71440995598757]
  我々は,視覚言語モデルにおける重要なギャップに対処するために,Do-Undoタスクとベンチマークを導入する。 Do-Undoは、物理的な行動の結果をシミュレートし、それを正確に反転させるモデルを必要とし、視覚の世界における真の原因と効果を反映している。
  論文  参考訳（メタデータ） (2025-12-15T18:03:42Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
  リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。 我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。 本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
  論文  参考訳（メタデータ） (2023-06-01T07:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。