論文の概要: World Models Need a Physical Registry: Learning Internal Predictive States for Physically Plausible World Models
- arxiv url: http://arxiv.org/abs/2610.16365v1
- Date: Mon, 12 Oct 2026 08:18:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.334566
- Title: World Models Need a Physical Registry: Learning Internal Predictive States for Physically Plausible World Models
- Title(参考訳): 物理登録を必要とする世界モデル:物理的に可塑性な世界モデルのための内部予測状態の学習
- Abstract要約: ビデオワールドモデルは、現実的なフレームだけでなく、物理的にもっともらしい未来を生成する必要があります。
既存のアプローチは通常、視覚生成ストリームを導くために意味、物理的、または予測情報を使用する。
物理レジストリは、ビデオDiT内の一時的なレジストリスロットを接地する。
- 参考スコア(独自算出の注目度): 35.90547361032912
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video world models must generate physically plausible futures, not just realistic frames. Existing approaches typically use semantic, physical, or predictive information to guide the visual generation stream, leaving a fundamental question: where inside the generator should predictions of scene evolution live? Standard video tokens jointly encode appearance and dynamics, but provide no distinct state for learning and reading predictive dynamics. We answer this question with the Physical Registry: temporally grounded registry slots inside a video DiT that are initialized from an observation-conditioned forecast, co-evolve with video tokens, and receive future-representation supervision, making predictive dynamics an explicit, readable state of the generator. In a controlled comparison of predictive-state interfaces on Physics-IQ Verified, Physical Registry improves vanilla fine-tuning by 9.9/8.7 points on I2V/V2V, the largest gain among the interfaces we compare. Across all Cosmos and WAN backbones, Physical Registry improves Physics-IQ Verified scores. With only 0.45% additional parameters, it enables Cosmos 3 Nano 16B to surpass the published I2V score of Cosmos 3 Super 64B (43.56 vs. 42.7). On WorldModelBench, it also improves physical adherence and the total score for all four evaluated backbones. Because the registry becomes candidate-specific while remaining readable, the Physical Registry Selector (PRS) ranks emerging futures by how far their intermediate registry readouts depart from the shared forecast before full denoising is complete. Across four backbones, this selection improves I2V scores by 5.6-15.9% without completed-video external scoring. Together, these results support a broader principle: dynamics prediction should live as an explicit model state that co-evolves with the video representation. Project page: https://grainsack.github.io/physical-registry/
- Abstract(参考訳): ビデオワールドモデルは、現実的なフレームだけでなく、物理的にもっともらしい未来を生成する必要があります。
既存のアプローチでは、通常、セマンティック、物理的、または予測的な情報を使用して、視覚的な生成ストリームをガイドし、基本的な疑問を残している。
標準的なビデオトークンは外観とダイナミクスを共同でエンコードするが、予測力学の学習と読解には明確な状態を提供しない。
観測条件付き予測から初期化され、ビデオトークンと共進化し、将来の表現監督を受け取り、予測力学を発電機の明示的で読みやすい状態にする。
物理IQ検証における予測状態インタフェースの制御された比較において、物理レジストリは、比較したインターフェースの中で最大の利益であるI2V/V2V上の9.9/8.7ポイントのバニラ微調整を改善する。
すべてのコスモスとWANのバックボーンの中で、物理レジストリは物理IQ認証スコアを改善している。
0.45%の追加パラメータでコスモス3号のナノ16Bはコスモス3号のスーパー64B(43.56対42.7)のI2Vスコアを超えることができる。
WorldModelBenchでは、4つの評価されたバックボーン全体の物理的なアテンデンスと合計スコアも改善されている。
可読性を維持しながら、レジストリが候補固有になるため、Physical Registry Selector (PRS)は、その中間レジストリの読み出しが、完全な記述が完了する前に共有予測からどのくらい離れているかによって、新しい未来をランク付けする。
4つのバックボーンでI2Vスコアを5.6-15.9%改善する。
ダイナミックス予測は、ビデオ表現と共進化する明示的なモデル状態として存続すべきである。
プロジェクトページ: https://grainsack.github.io/physical-registry/
関連論文リスト
- PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation [16.845970468709826]
本稿では物理ビデオ・コード生成のベンチマークであるPhySimCodeを紹介する。
このデータセットは、162の物理現象にまたがる160.6Kの手続き的に生成されたサンプルを含んでいる。
我々は,物理法則の正当性,シミュレーション等価性,コード実行可能性,パラメータ回復の両面から,最先端のクローズドおよびオープンソースMLLMを評価した。
論文 参考訳(メタデータ) (2026-10-11T16:00:39Z) - PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models [60.567497085815724]
PhysBrain 1.5は、物理的な環境を理解し、アクションを生成し、将来の状態を予測するための統一モデルである。
事前トレーニングは、人間のインタラクションビデオから完全に具体化された監督を引き出す。
一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
論文 参考訳(メタデータ) (2026-09-14T03:25:46Z) - Physics-IQ Verified [58.94877959578469]
我々は,物理IQベンチマークの体系的な監査を行い,欠点を明らかにする。
本稿では,映像生成モデルの物理的理解を計測する3つの方法を提案する。
得られたベンチマークであるPhysical-IQ Verifiedは、全サンプルの57.6%を精製し、34.8%以上のプロンプトを改善した。
論文 参考訳(メタデータ) (2026-06-17T11:23:52Z) - Proprio: Latent Self-Scoring and Inference-Time Refinement for Physically Plausible Video Generation [78.41956766048308]
Proprioは、凍結したジェネレータが自身の出力の物理的妥当性を評価し改善することを可能にする、トレーニング不要のフレームワークである。
自己運動の生物学的感覚であるプロプリセプションにインスパイアされたプロプリオは、モデルの流れを自己刺激信号として扱う。
Proprioは、テキスト・ツー・ビデオ・ベンチマークと画像・ツー・ビデオ・ベンチマークの物理的妥当性を一貫して改善する。
論文 参考訳(メタデータ) (2026-05-27T09:44:18Z) - PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。
i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
論文 参考訳(メタデータ) (2026-04-30T17:53:03Z) - A Physical Coherence Benchmark for Evaluating Video Generation Models via Optical Flow-guided Frame Prediction [2.5262441079541285]
本稿では,生成されたビデオの物理コヒーレンスを評価するためのベンチマークPhyCoBenchを紹介する。
われわれのベンチマークでは、120のプロンプトが7つのカテゴリの物理原理をカバーし、ビデオコンテンツで観察できる重要な物理法則を捉えている。
本稿では,光学フローと映像フレームをカスケード的に生成する拡散モデルであるPhyCoPredictorを提案する。
論文 参考訳(メタデータ) (2025-02-08T09:31:26Z) - Video Prediction Transformers without Recurrence or Convolution [65.93130697098658]
我々は、Gated Transformerを完全にベースとしたフレームワークであるPredFormerを提案する。
本稿では,映像予測の文脈における3次元注意の包括的分析を行う。
精度と効率の両面で大きな改善は、PredFormerの可能性を強調している。
論文 参考訳(メタデータ) (2024-10-07T03:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。