論文の概要: When Does Latent Prediction Error Support Physical Surprise Claims in Video World Models?

• arxiv url: http://arxiv.org/abs/2611.01815v1
• Date: Sun, 01 Nov 2026 11:31:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-12 14:37:27.827336
• Title: When Does Latent Prediction Error Support Physical Surprise Claims in Video World Models?
• Title（参考訳）: ビデオワールドモデルにおける遅延予測誤差は物理サプライズ・クレームをサポートするか?
• Abstract要約: IntPhys2は物理的に可能で不可能なイベントのベンチマークである。 V-JEPA2は、イベントが可能か不可能かという、控えめな情報を公開する。 Physion++のビデオクリップでは、単一のフレームを繰り返すと、元のクリップよりも高いエラーが発生する。
• 参考スコア（独自算出の注目度）: 41.99844472131922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prediction errors from video world models are often treated as physical surprise, but they can also reflect appearance, static content, motion, or ordinary prediction difficulty. We present an evaluation framework that separates what frozen representations contain, how they organize appearance and physical differences, and what changes a model's own prediction error. On IntPhys2, a benchmark of physically possible and impossible events, we compare representations from latent prediction, masked pixel reconstruction, and simple visual statistics. Appearance remains easy to decode, while V-JEPA2 exposes modest information about whether events are possible or impossible. Looking at the latent geometry, appearance changes become smaller compared with differences between videos, their directions line up more consistently across scenes, and their overlap with physical changes decreases in deeper layers. Across action-conditioned models, incorrect actions raise prediction error, while appearance changes also produce substantial responses. In Physion++ video clips, repeating a single frame can produce higher error than the original clip, while changing color throughout the clip can lower it. Using Kubric, a simulation and rendering framework, we find that impossible events can produce lower error than possible events. A fixed error threshold also incorrectly flags many possible events as impossible. A model can therefore represent physical information and respond to incorrect actions without its native prediction error reliably measuring physical surprise.
• Abstract（参考訳）: ビデオワールドモデルからの予測エラーは、しばしば物理的なサプライズとして扱われるが、外観、静的コンテンツ、動き、通常の予測困難を反映することもできる。 本稿では,凍結表現が含んでいるもの,外観や物理的差異の整理方法,モデル自身の予測誤差をどう変更するかを分離する評価フレームワークを提案する。 IntPhys2は、物理的に可能で不可能な事象のベンチマークであり、潜時予測、マスク付き画素再構成、単純な視覚統計値の表現を比較する。 V-JEPA2は、イベントが可能であるか不可能かを控えめな情報を公開する。 静止した幾何学を見てみると、映像の違いに比べて外観の変化は小さくなり、方向が一貫したシーンに並び、より深い層では物理的変化との重なり合いが減少する。 アクション条件付きモデル全体では、誤ったアクションは予測エラーを引き起こすが、外観の変化は相当な応答をもたらす。 Physion++のビデオクリップでは、単一のフレームを繰り返すと、元のクリップよりも高いエラーが発生する。 シミュレーションとレンダリングのフレームワークであるKubricを使うことで、不可能なイベントは可能なイベントよりもエラーが少ないことが分かる。 固定エラーしきい値もまた、多くの可能なイベントを不可能と誤ってフラグ付けする。 したがって、モデルは物理的情報を表現し、物理的サプライズを確実に測定することなく、不正確な動作に応答することができる。

関連論文リスト

• What-If World: A Causal Benchmark for General World Models in Embodied Scenarios [23.527918480081013]
  ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。 これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。 我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。
  論文  参考訳（メタデータ） (2026-05-26T19:02:26Z)
• CRONOS: Benchmarking Counterfactual Physical Consistency in Video Models [25.976578205889776]
  CRONOSは、実際の物理的一貫性を評価するために設計された介入ベースのベンチマークである。 Unreal Engine環境で構築されたCRONOSは、さまざまなシーンやダイナミックスにわたる、制御された高忠実なビデオ生成を可能にする。
  論文  参考訳（メタデータ） (2026-05-22T14:51:22Z)
• What Happens Next? Anticipating Future Motion by Generating Point Trajectories [76.16266402727643]
  一つの画像から動きを予測し、世界の物体がどのように動くかを予測する問題を考察する。 我々はこのタスクを,現代のビデオジェネレータのアーキテクチャを忠実に追従するモデルを用いて,高密度トラジェクトリグリッドの条件生成として定式化する。 このアプローチはシーン全体のダイナミクスと不確実性を捉え、以前の回帰器やジェネレータよりも正確で多様な予測をもたらす。
  論文  参考訳（メタデータ） (2025-09-25T21:03:56Z)
• Think Before You Diffuse: Infusing Physical Rules into Video Diffusion [55.046699347579455]
  実世界の動き、相互作用、ダイナミクスの複雑さは、データから物理を学ぶ際に大きな困難をもたらす。 DiffPhyは、トレーニング済みの動画拡散モデルを微調整することで、物理的に正確でリアルな映像生成を可能にする汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2025-05-27T18:26:43Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• Multi-Contextual Predictions with Vision Transformer for Video Anomaly Detection [22.098399083491937]
  ビデオの時間的文脈を理解することは、異常検出において重要な役割を果たす。 我々は3つの異なる文脈予測ストリームを持つトランスモデルを設計する。 連続する正常フレームの欠落フレームの予測を学習することにより、ビデオ内の様々な正常パターンを効果的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-17T05:54:31Z)
• Stochastic Video Prediction with Structure and Motion [14.424465835834042]
  本稿では,映像観察を静的・動的成分に分解する手法を提案する。 前景と背景の変化の分布を別々に学習することで、シーンを静的と動的に分解することができる。 我々の実験は、遠心構造と動きが映像の予測に役立ち、複雑な運転シナリオにおける将来の予測に繋がることを示した。
  論文  参考訳（メタデータ） (2022-03-20T11:29:46Z)
• FitVid: Overfitting in Pixel-Level Video Prediction [117.59339756506142]
  われわれはFitVidという新しいアーキテクチャを導入し、一般的なベンチマークに厳しいオーバーフィッティングを行えるようにした。 FitVidは、4つの異なるメトリクスで4つの異なるビデオ予測ベンチマークで現在の最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2021-06-24T17:20:21Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。