論文の概要: Counterfactual World Models via Digital Twin-conditioned Video Diffusion

• arxiv url: http://arxiv.org/abs/2511.17481v1
• Date: Fri, 21 Nov 2025 18:37:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-24 18:08:19.166973
• Title: Counterfactual World Models via Digital Twin-conditioned Video Diffusion
• Title（参考訳）: ディジタル双対条件ビデオ拡散による実世界モデル
• Abstract要約: CWMDTは,標準映像拡散モデルを効果的な対実世界モデルに変換するフレームワークである。 CWMDTは観察されたシーンのデジタルツインを構築し、オブジェクトとその関係を明示的にエンコードし、構造化されたテキストとして表現する。 我々は,CWMDTが最先端のパフォーマンスを達成し,映像の代替表現であるデジタルツインが,映像フォワードシミュレーションに基づく世界モデルに強力な制御信号を提供することを示す。
• 参考スコア（独自算出の注目度）: 7.761903219193172
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models learn to predict the temporal evolution of visual observations given a control signal, potentially enabling agents to reason about environments through forward simulation. Because of the focus on forward simulation, current world models generate predictions based on factual observations. For many emerging applications, such as comprehensive evaluations of physical AI behavior under varying conditions, the ability of world models to answer counterfactual queries, such as "what would happen if this object was removed?", is of increasing importance. We formalize counterfactual world models that additionally take interventions as explicit inputs, predicting temporal sequences under hypothetical modifications to observed scene properties. Traditional world models operate directly on entangled pixel-space representations where object properties and relationships cannot be selectively modified. This modeling choice prevents targeted interventions on specific scene properties. We introduce CWMDT, a framework to overcome those limitations, turning standard video diffusion models into effective counterfactual world models. First, CWMDT constructs digital twins of observed scenes to explicitly encode objects and their relationships, represented as structured text. Second, CWMDT applies large language models to reason over these representations and predict how a counterfactual intervention propagates through time to alter the observed scene. Third, CWMDT conditions a video diffusion model with the modified representation to generate counterfactual visual sequences. Evaluations on two benchmarks show that the CWMDT approach achieves state-of-the-art performance, suggesting that alternative representations of videos, such as the digital twins considered here, offer powerful control signals for video forward simulation-based world models.
• Abstract（参考訳）: 世界モデルは、制御信号が与えられた視覚的観察の時間的進化を予測することを学び、エージェントは前方シミュレーションを通じて環境を推論できる可能性がある。 フォワードシミュレーションに焦点が当てられているため、現在の世界モデルは実測に基づいて予測を生成する。 さまざまな条件下での物理的なAI行動の包括的評価など、多くの新興アプリケーションにおいて、"このオブジェクトが削除されたらどうなるか? 我々は,観察されたシーン特性に対する仮説的修正の下での時間的シーケンスを予測し,介入を明示的な入力として追加する対実世界モデルを定式化する。 伝統的な世界モデルは、オブジェクトの特性と関係を選択的に修正できないような、絡み合ったピクセル空間の表現を直接操作する。 このモデリング選択は、特定のシーンプロパティに対するターゲットの介入を防ぐ。 我々はこれらの制限を克服するフレームワークであるCWMDTを導入し、標準映像拡散モデルを効果的な対実世界モデルに変換する。 まず、CWMDTは観察されたシーンのデジタルツインを構築し、オブジェクトとその関係を構造化されたテキストとして明示的にエンコードする。 第二に、CWMDTはこれらの表現を推論するために大きな言語モデルを適用し、反事実的介入が時間を通してどのように伝播し、観察されたシーンを変更するかを予測する。 第3に、CWMDTは、修正された表現でビデオ拡散モデルを定義して、反現実的な視覚的シーケンスを生成する。 2つのベンチマークによる評価は、CWMDTアプローチが最先端のパフォーマンスを達成することを示し、ビデオの代替表現であるデジタルツイン(英語版)は、ビデオフォワードシミュレーションに基づく世界モデルに強力な制御信号を提供することを示唆している。

関連論文リスト

• DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
  DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。 合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
  論文  参考訳（メタデータ） (2026-08-19T03:44:28Z)
• DVG-WM: Disentangled Video Generation Enables Efficient Embodied World Model for Robotic Manipulation [41.032627534378065]
  本稿では、世界モデリングを動的学習と視覚合成に分解する効率的なフレームワークであるDVG-WMを提案する。 LIBEROと現実世界のプラットフォームでの実験では、最大3.97倍の加速で画質が改善された。
  論文  参考訳（メタデータ） (2026-06-30T17:54:32Z)
• World Action Models: A Survey [100.95337034529263]
  ワールドアクションモデル(World Action Models, WAM)は、将来を予測できる予測モデルである。 近年のWAMは大規模なビデオ生成モデルを再利用しており、並列線はビデオ生成コアを持たない言語や視覚言語によるバックボーンに依存している。 この調査は、フィールドに共通の説明を与えます。まず、これらの境界を明確にし、2つの補完的な視点で既存の作業を整理します。
  論文  参考訳（メタデータ） (2026-06-18T17:05:19Z)
• World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning [18.658825757342544]
  視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。 彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。 生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
  論文  参考訳（メタデータ） (2026-04-29T17:48:01Z)
• Walk through Paintings: Egocentric World Models from Internet Priors [65.30611174953958]
  本稿では,エゴセントリック・ワールド・モデル(EgoWM)について述べる。 我々は、スクラッチからトレーニングするよりも、インターネット規模のビデオモデルのリッチワールドを再利用し、軽量なコンディショニング層を通じてモーターコマンドを注入する。 当社のアプローチは,3-DoF移動ロボットから25-DoFヒューマノイドまで,エボディメントやアクションスペースを自然に拡張する。
  論文  参考訳（メタデータ） (2026-01-21T18:59:32Z)
• Future Optical Flow Prediction Improves Robot Control & Video Generation [100.87884718953099]
  本稿では,VLM(Vision-Language Model)と拡散アーキテクチャを組み合わせた新しい光フロー予測モデルFOFPredを紹介する。 我々のモデルは、高度にスケーラブルだが非構造化のソースである、Webスケールの人間活動データに基づいて訓練されている。 言語駆動設定下でのロボット操作とビデオ生成による評価は、FOFPredのクロスドメインの汎用性を確立する。
  論文  参考訳（メタデータ） (2026-01-15T18:49:48Z)
• Towards High-Consistency Embodied World Model with Multi-View Trajectory Videos [24.111891848073288]
  身体的世界モデルは、視覚的な観察と行動を通じて物理的世界と予測し、相互作用することを目的としている。 MTV-Worldは正確なビジュモータ予測のためのマルチビュートラジェクトリ・ビデオ制御を導入した。 MTV-Worldは、複雑なデュアルアームシナリオにおける正確な制御実行と正確な物理的相互作用モデリングを実現する。
  論文  参考訳（メタデータ） (2025-11-17T02:17:04Z)
• Video Prediction of Dynamic Physical Simulations With Pixel-Space Spatiotemporal Transformers [3.951575888190684]
  本研究は,ビデオ予測のためのトランスフォーマー適応を簡易なエンド・ツー・エンド・アプローチで検討し,種々の自己時間的アテンションレイアウトを比較した。 本稿では,自動回帰映像予測のための簡易かつ効果的な変換器を提案し,連続した画素空間表現をビデオ予測水平線に適用する。
  論文  参考訳（メタデータ） (2025-10-23T17:58:45Z)
• Ego-centric Predictive Model Conditioned on Hand Trajectories [52.531681772560724]
  自我中心のシナリオでは、次の行動とその視覚的結果の両方を予測することは、人間と物体の相互作用を理解するために不可欠である。 我々は,エゴセントリックなシナリオにおける行動と視覚的未来を共同でモデル化する,統合された2段階予測フレームワークを提案する。 我々のアプローチは、エゴセントリックな人間の活動理解とロボット操作の両方を扱うために設計された最初の統一モデルである。
  論文  参考訳（メタデータ） (2025-08-27T13:09:55Z)
• Do Vision-Language Models Have Internal World Models? Towards an Atomic Evaluation [54.3628937181904]
  内部世界モデル(英語版)(WM)は、エージェントが世界の状態を理解し、遷移を予測することを可能にする。 近年,OpenAI o3, GPT-4o, Geminiなどの大規模視覚言語モデル(VLM)は汎用的なWMとしての可能性を示している。
  論文  参考訳（メタデータ） (2025-06-27T03:24:29Z)
• DiffusionSfM: Predicting Structure and Motion via Ray Origin and Endpoint Diffusion [53.70278210626701]
  マルチビュー画像から3次元シーン形状とカメラポーズを直接推定するデータ駆動型マルチビュー推論手法を提案する。 我々のフレームワークであるDiffusionSfMは、シーン幾何学とカメラを、グローバルフレーム内のピクセルワイズ線源とエンドポイントとしてパラメータ化します。 我々は、DiffusionSfMを合成データセットと実データセットの両方で実証的に検証し、古典的および学習ベースのアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-08T17:59:47Z)
• Learning 3D Persistent Embodied World Models [84.40585374179037]
  我々は、以前に生成されたコンテンツの明示的なメモリを備えた、新しい永続的エンボディド・ワールドモデルを導入する。 映像拡散モデルでは, 映像拡散モデルにより, エージェントの今後の観察のRGB-D映像が予測される。 この生成は、環境の永続的な3Dマップに集約される。
  論文  参考訳（メタデータ） (2025-05-05T17:59:17Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Local Frequency Domain Transformer Networks for Video Prediction [24.126513851779936]
  ビデオ予測は、現実世界の視覚的変化を予想するだけでなく、何よりも、教師なしの学習規則として登場した。 本稿では,解釈性を維持しつつ,これらのタスクを別々に実行することのできる,完全微分可能なビルディングブロックを提案する。
  論文  参考訳（メタデータ） (2021-05-10T19:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。