論文の概要: Do-Undo: Generating and Reversing Physical Actions in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2512.13609v1
• Date: Mon, 15 Dec 2025 18:03:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.793212
• Title: Do-Undo: Generating and Reversing Physical Actions in Vision-Language Models
• Title（参考訳）: Do-Undo:視覚言語モデルにおける身体行動の生成と反転
• Authors: Shweta Mahajan, Shreya Kadambi, Hoang Le, Munawar Hayat, Fatih Porikli,
• Abstract要約: 我々は,視覚言語モデルにおける重要なギャップに対処するために,Do-Undoタスクとベンチマークを導入する。 Do-Undoは、物理的な行動の結果をシミュレートし、それを正確に反転させるモデルを必要とし、視覚の世界における真の原因と効果を反映している。
• 参考スコア（独自算出の注目度）: 57.71440995598757
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the Do-Undo task and benchmark to address a critical gap in vision-language models: understanding and generating physically plausible scene transformations driven by real-world actions. Unlike prior work focused on object-level edits, Do-Undo requires models to simulate the outcome of a physical action and then accurately reverse it, reflecting true cause-and-effect in the visual world. We curate a large-scale dataset of reversible actions from real-world videos and design a training strategy enforcing consistency for robust action grounding. Our experiments reveal that current models struggle with physical reversibility, underscoring the importance of this task for embodied AI, robotics, and physics-aware generative modeling. Do-Undo establishes an intuitive testbed for evaluating and advancing physical reasoning in multimodal systems.
• Abstract（参考訳）: 本研究では,実世界の行動によって引き起こされる物理的に可視なシーン変換の理解と生成という,視覚言語モデルにおける重要なギャップに対処するために,Do-Undoタスクとベンチマークを導入する。 オブジェクトレベルの編集に焦点を当てた以前の作業とは異なり、Do-Undoは物理的なアクションの結果をシミュレートし、それを正確に反転させるモデルを必要とし、視覚の世界における真の原因と効果を反映している。 我々は、現実世界のビデオから可逆的なアクションの大規模なデータセットをキュレートし、堅牢なアクション接地のための一貫性を強制するトレーニング戦略を設計する。 我々の実験は、現在のモデルが物理的可逆性に苦しむことを明らかにし、AI、ロボット工学、物理認識生成モデリングにおいてこのタスクの重要性を強調した。 Do-Undoは、マルチモーダルシステムにおける物理的推論の評価と進歩のための直感的なテストベッドを確立する。

関連論文リスト

• SIMPACT: Simulation-Enabled Action Planning using Vision-Language Models [60.80050275581661]
  VLM(Vision-Language Models)は、目覚しい常識と意味論的推論能力を示す。 物理力学に関する基礎的な理解は欠如している。 テストタイムでシミュレーション可能な ACTion Planning フレームワークである S を提案する。 本手法は,5つの難易度,実世界の剛体および変形可能な操作課題に対して,最先端の性能を示す。
  論文  参考訳（メタデータ） (2025-12-05T18:51:03Z)
• PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction [52.44375492811009]
  物理学に基づくシミュレーターにおいて,ヒューマノイド制御のための視覚行動ポリシーを学習する統合フレームワークであるPhysHMRを提案する。 我々のアプローチの重要な要素はピクセル・アズ・レイ戦略であり、2次元のキーポイントを3次元空間に上げ、それらを大域空間に変換する。 PhysHMRは多種多様なシナリオにまたがって高忠実で物理的に妥当な動きを生じさせ、視覚的精度と身体的リアリズムの両方において以前のアプローチより優れている。
  論文  参考訳（メタデータ） (2025-10-02T21:01:11Z)
• SimGenHOI: Physically Realistic Whole-Body Humanoid-Object Interaction via Generative Modeling and Reinforcement Learning [6.255814224573073]
  SimGenHOIは、生成モデリングと強化学習の強みを組み合わせた統一的なフレームワークであり、制御可能で物理的に妥当なHOIを生成する。 本研究では,Diffusion Transformers (DiT) に基づくHOI生成モデルを用いて,テキストプロンプト,オブジェクト形状,スパースオブジェクトウェイポイント,初期ヒューマノイドポーズのセットを予測した。 身体的現実性を確保するため,強化学習で訓練された接触認識全身制御ポリシーを設計し,その動作をトラッキングし,侵入や足の滑りなどのアーティファクトを補正する。
  論文  参考訳（メタデータ） (2025-08-18T15:20:46Z)
• Scan, Materialize, Simulate: A Generalizable Framework for Physically Grounded Robot Planning [16.193477346643295]
  Scan, Materialize, Simulate (SMS) は,正確なシーン再構成のための3次元ガウススプラッティング,セマンティックセグメンテーションのための視覚基盤モデル,物質特性推定のための視覚言語モデル,アクション結果の信頼性予測のための物理シミュレーションを組み合わせた統合フレームワークである。 本研究は,シーン再構築のための異種レンダリング,セマンティック理解のための基礎モデル,物理に基づくシミュレーションにより,多様な環境にまたがる物理的基盤を持つロボット計画を実現する可能性を強調した。
  論文  参考訳（メタデータ） (2025-05-20T21:55:01Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Zero-Shot Object-Centric Representation Learning [72.43369950684057]
  ゼロショット一般化のレンズによる現在の対象中心法について検討する。 8つの異なる合成および実世界のデータセットからなるベンチマークを導入する。 多様な実世界の画像のトレーニングにより、見えないシナリオへの転送性が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-17T10:37:07Z)
• Learning the Effects of Physical Actions in a Multi-modal Environment [17.757831697284498]
  大規模言語モデル(LLM)は、物理的コモンセンス情報を不十分に扱う。 本稿では,現実的な感覚入力のみから行動の結果を予測するマルチモーダルタスクを提案する。 マルチモーダルモデルでは、視覚情報で拡張した場合に、物理的なコモンセンスをキャプチャできることを示す。
  論文  参考訳（メタデータ） (2023-01-27T16:49:52Z)
• ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object Manipulation [135.10594078615952]
  本稿では,体積変形可能なオブジェクトに対する動作条件の視覚力学モデルであるACIDを紹介する。 ベンチマークには17,000以上のアクション・トラジェクトリー、6種類のぬいぐるみと78種類の変種が含まれている。 我々のモデルは、幾何学、対応、力学の予測において最高の性能を達成する。
  論文  参考訳（メタデータ） (2022-03-14T04:56:55Z)
• Model-Based Inverse Reinforcement Learning from Visual Demonstrations [20.23223474119314]
  本稿では,視覚的人間の実演のみを与えられた場合のコスト関数を学習する,勾配に基づく逆強化学習フレームワークを提案する。 学習したコスト関数は、視覚モデル予測制御によって実証された振る舞いを再現するために使用される。 2つの基本的なオブジェクト操作タスクでハードウェアのフレームワークを評価する。
  論文  参考訳（メタデータ） (2020-10-18T17:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。