論文の概要: Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence

• arxiv url: http://arxiv.org/abs/2607.16401v1
• Date: Fri, 17 Jul 2026 18:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.143148
• Title: Apple-$π$: Benchmarking Thinking with Video Towards Law-Grounded Physical Intelligence
• Title（参考訳）: Apple-π$: 動画とベンチマークによる物理知能の強化
• Abstract要約: Apple-PIは、物理法則でビデオモデルの評価を明示的に固定する最初のベンチマークである。 Apple-PIは3つのコンポーネントから構成される。 ベンチマーク11モデルは、現在のビデオモデルが信頼性の高い地上のワールドシミュレータから遠く離れていることを示している。
• 参考スコア（独自算出の注目度）: 54.58886283991723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern video generation models are increasingly hailed as emerging world models with an internalized grasp of physical law. Yet existing benchmarks largely evaluate physical plausibility only at the output level, without verifying whether the model arrives there through a faithful, law-grounded reasoning process. We introduce Apple-PI, the first benchmark that anchors video-model evaluation explicitly in physical laws. Apple-PI comprises three components. 1) Orchard: a dataset of 400 videos covering ten canonical tasks in classical mechanics. It separates single-law tasks for confounder-free diagnosis from multi-law tasks for probing generalization. 2) Benchmark Protocol: a three-stage protocol based on scientific reasoning, including Perception, Formulation, and Deduction. It uses chain-of-frames prompting on infographic-annotated first frames, treating the generated video as the model's visible reasoning trace. 3) Evaluation Suite: a hybrid evaluation suite that combines MLLM-based subjective scoring with physics-law-grounded objective measures. This enables stage-resolved diagnosis of not only whether a model fails, but where it fails. Benchmarking 11 models shows that current video models remain far from reliable law-grounded world simulators, with the best video model scoring only 0.473. Our stage-, pillar-, and source-resolved analyses further expose a Perception-to-Formulation-to-Deduction bottleneck, weak multi-law state transfer, and a persistent Sim-to-Real gap. These findings position Apple-PI as a diagnostic foundation for guiding future video models toward world models with law-grounded physical intelligence.
• Abstract（参考訳）: 現代のビデオ生成モデルは、物理法則を内部的に把握した新興世界モデルとして、ますます注目されている。 しかし、既存のベンチマークは、モデルが忠実で法的な推論プロセスを通じてそこに到着するかどうかを検証することなく、出力レベルでのみ物理的妥当性を評価する。 Apple-PIは、物理法則で明確にビデオモデル評価をアンロックする最初のベンチマークである。 Apple-PIは3つのコンポーネントから構成される。 Orchard: 古典力学における10の標準タスクをカバーする400のビデオのデータセット。 共同設立者なしの診断のための単一法定タスクと、一般化を見極めるための多法定タスクとを分離する。 2)ベンチマークプロトコル:知覚、定式化、推論を含む科学的推論に基づく3段階のプロトコル。 インフォグラフィックアノテートされた第1フレームにプロンプトするフレームのチェーンを使用し、生成されたビデオをモデルの可視的推論トレースとして扱う。 3)評価スイート:MLLMに基づく主観的スコアと物理法則に基づく客観的尺度を組み合わせたハイブリッド評価スイート。 これにより、モデルが失敗するだけでなく、どこで失敗するかを段階的に診断することができる。 ベンチマーク11モデルによると、現在のビデオモデルは信頼性の高い世界シミュレーターには程遠いままであり、最高のビデオモデルはわずか0.473である。 我々の段階的, 柱的, 情報源的解析により, パーセプション・ツー・フォーミュレーション・ツー・デダクションのボトルネック, 弱い多義的状態伝達, 永続的なシモン・トゥ・リアルギャップがさらに明らかになった。 これらの知見は、Apple-PIが将来のビデオモデルを法的な物理的インテリジェンスで世界モデルに導くための診断基盤として位置づけられている。

関連論文リスト

• From Evaluation to Enhancement: Benchmarking and Improving Think-with-Video Reasoning for Video Generative Models [42.398664944109676]
  VWG-Bench (Video World Generalist Benchmark)は、9つの推論次元と38のきめ細かいタスクにまたがる包括的なベンチマークである。 本稿では,モデルに依存しないプロンプトリライタであるVid-PRE (Video Reason Prompter and Enhancer)を提案する。
  論文  参考訳（メタデータ） (2026-09-10T08:40:58Z)
• Physics-IQ Verified [58.94877959578469]
  我々は,物理IQベンチマークの体系的な監査を行い,欠点を明らかにする。 本稿では,映像生成モデルの物理的理解を計測する3つの方法を提案する。 得られたベンチマークであるPhysical-IQ Verifiedは、全サンプルの57.6%を精製し、34.8%以上のプロンプトを改善した。
  論文  参考訳（メタデータ） (2026-06-17T11:23:52Z)
• PhyGround: Benchmarking Physical Reasoning in Generative World Models [46.53245929361594]
  ビデオ生成における物理的推論を評価するための基準付きベンチマークであるPhyGroundを紹介する。 ベンチマークには250のキュレートされたプロンプトが含まれており、それぞれが予想される物理的な結果と13の物理法則の分類が含まれている。 我々は,大規模で品質管理された人間の研究を通じて,8つの現代映像生成モデルを評価する。
  論文  参考訳（メタデータ） (2026-05-11T16:30:51Z)
• VIPER: Process-aware Evaluation for Generative Video Reasoning [64.86465792516658]
  我々は、時間的、構造的、象徴的、空間的、物理的、計画的推論にまたがる16のタスクにまたがる包括的なベンチマークVIPERを紹介する。 実験の結果,現状の映像モデルでは約20%のPOC@1.0しか達成できず,良好な結果が得られた。
  論文  参考訳（メタデータ） (2025-12-31T16:31:59Z)
• MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
  我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。 我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。 我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
  論文  参考訳（メタデータ） (2025-05-01T17:41:49Z)
• VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation [66.58048825989239]
  VideoPhy-2は、生成されたビデオの物理的常識を評価するアクション中心のデータセットである。 我々は、生成したビデオのセマンティック・アテンデンス、物理コモンセンス、および物理ルールのグラウンド化を評価する人間の評価を行う。 結果より,最高のモデルでも22%のジョイントパフォーマンスを達成できたことが示唆された。
  論文  参考訳（メタデータ） (2025-03-09T22:49:12Z)
• How Far is Video Generation from World Model: A Physical Law Perspective [101.24278831609249]
  OpenAIのSoraは、物理法則に準拠した世界モデルを開発するためのビデオ生成の可能性を強調している。 しかし、ビデオ生成モデルが人間の先行しない視覚データから純粋にそのような法則を発見する能力に疑問を投げかけることができる。 本研究は,3つの主要なシナリオ – 分布内,分布外,一般化 – について評価する。
  論文  参考訳（メタデータ） (2024-11-04T18:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。