論文の概要: CaliBench: Are the Stochastic Dynamics of Video World Models Physically Calibrated?

• arxiv url: http://arxiv.org/abs/2608.16829v1
• Date: Mon, 17 Aug 2026 17:14:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.8161
• Title: CaliBench: Are the Stochastic Dynamics of Video World Models Physically Calibrated?
• Title（参考訳）: CaliBench: ビデオワールドモデルの確率力学は物理的に校正されているか?
• Abstract要約: CaliBench は FID のような学習された特徴空間ではなく、離散空間で結果をスコアする。 我々は,1つの精度のメートル法が混在する2つの軸に性能を分解する: スコラビリティ, スコア可能な結果をもたらす世代数, その試料の基準からの全変動距離のキャリブレーション。 9つのシーンと6つのイメージ・ツー・ビデオモデル(WAN-2.7, SeeDance-2.0, HappyHorse-1.0, Veo 3.1, Runway Gen-4.5, Cosmos3-Super)に適用する。
• 参考スコア（独自算出の注目度）: 6.39120343569684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video world models approximate the stochastic distribution of physical outcomes through generative sampling, but existing benchmarks score individual generations or compare distributions coarsely over a whole dataset, leaving the fine-grained aleatoric uncertainty of specific phenomena untested. We introduce CaliBench, which scores outcomes in a physically interpretable discrete space - a bin index, a die face, a suit, a colour - rather than a learned feature space such as in FID, so the distance from a known reference distribution is measured directly. We curate outcome spaces whose reference is known in closed form (binomial Galton boards, Bernoulli forks, uniform dice/cards/lottery, a skewed European-roulette colour), enabling an exact calibration test. We decompose performance into two orthogonal axes that a single accuracy metric conflates: scorability, the fraction of generations yielding a scoreable outcome, and calibration, the total variation distance from the reference on that sample. A chi-squared test assesses significance; as calibration is its null hypothesis it can evidence only miscalibration, and at N=32 per cell detects only large deviations. We apply it to nine scenes and six image-to-video models (WAN-2.7, SeeDance-2.0, HappyHorse-1.0, Veo 3.1, Runway Gen-4.5, Cosmos3-Super), 32 generations each. Models consistently concentrate probability mass on a few outcomes rather than reproducing the reference. Most scene-model combinations are significantly miscalibrated, in the extreme collapsing to one outcome, as Veo 3.1 does on dice. On roulette, generations often leave the ball ambiguously placed, giving several models low scorability. Performance varies by scene: no model dominates all nine. We release the protocol and a metric (mean normalised total variation, mnTV) for comparing new models against our results.
• Abstract（参考訳）: ビデオワールドモデルは、生成的なサンプリングによって物理結果の確率的分布を近似するが、既存のベンチマークでは、データセット全体にわたって個々の世代をスコアするか、あるいは粗い分布を比較し、特定の現象の微粒なアレタリックな不確かさを未確認のまま残している。 物理解釈可能な離散空間(ビンインデックス,ダイフェイス,スーツ,カラー)で結果をスコアするCaliBenchを紹介し,FIDのような学習された特徴空間ではなく,既知の参照分布からの距離を直接測定する。 閉形式(Galton boards,Bernolli forks,Uniform dice/cards/lottery,Skewed European-Roulette Color)で参照が知られている結果空間をキュレートし、正確な校正試験を可能にする。 1つの精度の計量が混在する2つの直交軸に性能を分解する: スコラビリティ、スコア可能な結果をもたらす世代数、そのサンプルの基準からの全変動距離のキャリブレーション。 校正はヌル仮説であり、誤校正のみを証明でき、N=32の細胞は大きな偏差しか検出できない。 9つのシーンと6つのイメージ・ツー・ビデオモデル(WAN-2.7, SeeDance-2.0, HappyHorse-1.0, Veo 3.1, Runway Gen-4.5, Cosmos3-Super)に適用する。 モデルは参照を再現するのではなく、いくつかの結果に確率質量を一貫して集中させる。 ほとんどのシーンモデルの組み合わせは、Veo 3.1がサイコロで行うように、非常に1つの結果に崩壊しているため、かなり誤解されている。 ルーレットでは、世代が曖昧にボールを置き去りにし、いくつかのモデルの装飾性が低い。 パフォーマンスはシーンによって異なり、モデルが9つ全てを占めることはない。 我々は、新しいモデルと結果を比較するためのプロトコルとメトリック(平均正規化総変量mnTV)をリリースする。

関連論文リスト

• Cross-Block Conditioning in Deep Boltzmann Machines for Statistical Data Fusion [0.0]
  本稿では,各行が実際に観測するものから抽出したターゲットに対して,マルチ予測対象を限定する,観測ブロック型マルチプレディションを提案する。 設定を生き残る差別的基準を持つことで、ジョイントモデルがまったく必要かどうかを問うことができます。
  論文  参考訳（メタデータ） (2026-09-14T02:26:16Z)
• PAWBench: How Far Are We from Probabilistically Aligned World Modeling? [60.16773899025656]
  この分布レベルの要件を確率的アライメント(probabilistic alignment)と呼ぶ。 PAWBenchは、ビデオジェネレータを世界ダイナミクスのサンプルとして評価するためのベンチマークである。 本稿では、繰り返しビデオのロールアウトを経験的分布に変換する結果レベルプロトコルであるPAWEvalを紹介する。
  論文  参考訳（メタデータ） (2026-08-27T16:46:38Z)
• EDGE: a closed-form directed test for the calibration of probabilistic binary classifiers [0.0]
  本稿では,正規確率分類器の校正テストであるEDGEを提案し,ロジスティック回帰法を提案する。 EDGEは、同一のビン付き予測観測テーブルを信頼性図のプロットとして読み出し、その標準化されたビン残差をスムーズなキャリブレーション歪みの小さな前提に投影する。 リンクと特徴の相違により、既定のデフォルトが22のシナリオのうち、19のシナリオで全ての競合するビン付きテストに導かれるか、あるいは結び付けられ、再適合ベースのStukelスコアテストが20%から28%のサンプルで分離される場合、計算可能のままであった。
  論文  参考訳（メタデータ） (2026-08-20T19:06:05Z)
• The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping [70.07961857926377]
  3つの制御されたビデオタスクにおけるイベントカウントのためのトレーサグラウンドパラメトリックプロファイリングを導入する。 2,190本のビデオでは,レンダリングを保ちながらイベントカウントNと周波数Fが異なる。 80%の信頼性しきい値において、Gemini 3.6 Flashは、0.5Hzと1.0Hzの12イベントまでの永続的な状態遷移を確実にカウントするが、過渡的点滅イベントに対する信頼性の高い正カウント領域は示さない。
  論文  参考訳（メタデータ） (2026-08-06T17:57:06Z)
• Heckman-Corrected Epistemic Uncertainty: Selection on Unobservables Defeats Importance Weighting [0.0]
  機械学習のためのトレーニングデータは、モデルが決して見ることのない選択プロセスによって定期的に収集される。 ヘックマンの2方程式モデルは、プロビット選択方程式と相関誤差によってリンクされた結果方程式に適合する。 ヘックマン補正は、選択方程式が -- 選択に影響を与えるが結果には影響しない変数 -- を持つ場合のカバレッジを復元し、測定不能に分解する。
  論文  参考訳（メタデータ） (2026-07-07T03:59:46Z)
• When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs [0.0]
  並列プログラムの次のステップを予測するためにモデルをトレーニングするのは、スケジューラが非決定論的であるため、見た目よりも難しい。 我々は、各プログラムを何度も実行し、観測された次の事象を経験的分布に集約し、その分布をKLの目的と一致するように7Bモデルを微調整する。 実際のGoのバグから引き出された798のホールトアウト予測では、1000個未満のトレースの微調整が36.2%の精度に達する。 P(GoUnblock)がスケジューラのセマンティクスによって保持される選択ブロックゴルータのクラスに対する正規なゴルータ-リークシグネチャを学習によって導出する。
  論文  参考訳（メタデータ） (2026-06-16T04:40:04Z)
• DTVEM-RE: A Hierarchical Random-Effects Extension of the Differential Time-Varying Effect Model for Person-Specific Multi-Lag Estimation in Intensive Longitudinal Data [0.0]
  DTVEM-REは、各人がそれぞれ独自のラグ係数を持つことができる拡張である。 これはDTVEMスタイルのラグ検出の最初の個人固有の実装である。
  論文  参考訳（メタデータ） (2026-06-12T04:54:21Z)
• Resolving Predictive Multiplicity for the Rashomon Set [25.615527704500987]
  モデルの「羅生門集合」も同様の精度を得るが、個々の予測では分岐する。 本稿では,ラーショモン集合の構成員に対する予測の不整合を低減するための3つのアプローチを提案する。
  論文  参考訳（メタデータ） (2026-01-14T02:02:54Z)
• It's an Alignment, Not a Trade-off: Revisiting Bias and Variance in Deep Models [51.66015254740692]
  深層学習に基づく分類モデルのアンサンブルでは, バイアスと分散がサンプルレベルで一致していることが示される。 我々はこの現象をキャリブレーションと神経崩壊という2つの理論的観点から研究する。
  論文  参考訳（メタデータ） (2023-10-13T17:06:34Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• Proximity-Informed Calibration for Deep Neural Networks [49.330703634912915]
  ProCalは、近接性に基づいてサンプル信頼度を調整する理論的保証を持つプラグアンドプレイアルゴリズムである。 ProCalは、近接バイアスに対処し、バランスの取れた、長い、分布シフトの設定の校正を改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-07T16:40:51Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)
• Individual Calibration with Randomized Forecasting [116.2086707626651]
  予測値がランダムに設定された場合,各サンプルのキャリブレーションは回帰設定で可能であることを示す。 我々は、個別の校正を強制する訓練目標を設計し、それをランダム化された回帰関数の訓練に使用する。
  論文  参考訳（メタデータ） (2020-06-18T05:53:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。