論文の概要: PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning
- arxiv url: http://arxiv.org/abs/2611.16424v1
- Date: Thu, 12 Nov 2026 07:33:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.390805
- Title: PhysCapBench: A Cross-Domain Benchmark for Physically Grounded Video Captioning
- Title(参考訳): PhysCapBench: 物理的にグラウンド化されたビデオキャプションのためのクロスドメインベンチマーク
- Abstract要約: 物理AIは、現実世界の経験から伝達可能な物理知識を学び、物理的な世界で理解し、予測し、行動することを目的としている。
ビデオ言語による事前訓練では、キャプションは観察された過程を言語で表現するが、意味的に正しい記述はこれらのプロセスを定義する相互作用や遷移を省略することができる。
PhysCapBenchは、3つのドメインすべてにまたがる最初の統合物理カプセルベンチマークである。
- 参考スコア(独自算出の注目度): 23.36674574643553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physical AI aims to learn transferable physical knowledge from real-world experience to understand, predict, and act in the physical world. Internet videos and embodied demonstrations provide complementary observations of motion, interaction, and state evolution. A foundational data challenge is to measure and preserve this physical information as training supervision. In video-language pretraining, captions express observed processes in language, yet a semantically correct description can omit the interactions and transitions that define those processes. Rich physical experience in video does not automatically translate into sufficient language supervision. This gap calls for a yardstick to assess annotation quality, compare captioning strategies, and guide training-data refinement. Motivated by our data construction for world-model pretraining, we introduce PhysCapBench, to our knowledge the first unified physical-caption benchmark spanning all three domains: third-person scenes, egocentric manipulation, and handheld-gripper demonstrations. It provides human-verified annotations for 1,500 video sequences and evaluates accuracy and coverage through seven physical dimensions. We examine downstream utility through video reconstruction and manipulation-policy fine-tuning. Physical captions reduce reconstruction LPIPS by 8.6-9.5% on third-person videos and 26.9-30.9% on egocentric videos relative to metadata captions. Training-instruction enrichment improves both PhysCapBench scores and policy success, including a 7.5-percentage-point gain for pi0.5 on a RoboTwin 2.0 subtask. PhysCapBench makes the physical content of language supervision inspectable and comparable, providing a cross-domain basis for its evaluation and improvement.
- Abstract(参考訳): 物理AIは、現実世界の経験から伝達可能な物理知識を学び、物理的な世界で理解し、予測し、行動することを目的としている。
インターネットビデオと具体化デモは、動作、相互作用、状態進化の相補的な観察を提供する。
基本的なデータ課題は、この物理情報をトレーニングの監督として測定し、保存することである。
ビデオ言語による事前訓練では、キャプションは観察された過程を言語で表現するが、意味的に正しい記述はこれらのプロセスを定義する相互作用や遷移を省略することができる。
ビデオにおけるリッチな物理的経験は、自動的に十分な言語管理に変換されない。
このギャップは、注釈の品質を評価し、キャプション戦略を比較し、トレーニングデータの改良をガイドするためのヤードスティックを要求する。
ワールドモデル事前トレーニングのためのデータ構築に触発され、PhysCapBenchを紹介します。この3つのドメインすべてにまたがる最初の統合物理キャプチャーベンチマークは、サードパーティのシーン、エゴセントリックな操作、ハンドヘルドグリッパーによるデモです。
1500の動画シーケンスに対して人間の検証されたアノテーションを提供し、7つの物理次元を通して精度とカバレッジを評価する。
映像再構成と操作型微調整による下流の実用性について検討する。
物理キャプションは、第三者のビデオでは8.6-9.5%、メタデータキャプションでは26.9-30.9%のリコンストラクションLPIPSを減少させる。
トレーニング・インストラクションの強化はPhysCapBenchスコアとポリシーの成功の両方を改善し、RoboTwin 2.0サブタスクでpi0.5の7.5パーセントのゲインを達成している。
PhysCapBenchは、言語のインスペクションの物理的な内容を検査可能かつ同等にし、その評価と改善のためのクロスドメインベースを提供する。
関連論文リスト
- Physis-Lang: Self-Evolving Language as a Physical Representation for Video World Model [65.89360908199338]
物理言語をデータキュレーション、モデルトレーニング、ビデオ生成にまたがる共有かつ最適化可能な表現として扱うフレームワークであるPhys-Langを紹介する。
Physis-Langは物理プロセスをアトミックなアサーションに分解し、リコールと精度を使ってキャプションを評価する。
WanとCosmosのバックボーンで広く使われている4つの物理ビデオベンチマークの実験は、物理的妥当性が一貫した改善を示している。
論文 参考訳(メタデータ) (2026-09-30T17:59:51Z) - StrucPhysVideo: Learning Physical Dynamics from Structured Captions and Robot Actions [22.832070421263364]
StrucPhysVideoは、物理に焦点を当てたデータキュレーションを言語とアクション条件でシーンの進化を予測する。
我々のデータパイプラインは、モーション対応のビデオセグメンテーション、品質とコンテンツのフィルタリング、物理的妥当性検証を組み合わせたものです。
StrucPhysVideoをStrucPhysVideo-IA2Vに拡張します。
論文 参考訳(メタデータ) (2026-09-16T10:23:00Z) - PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models [60.567497085815724]
PhysBrain 1.5は、物理的な環境を理解し、アクションを生成し、将来の状態を予測するための統一モデルである。
事前トレーニングは、人間のインタラクションビデオから完全に具体化された監督を引き出す。
一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
論文 参考訳(メタデータ) (2026-09-14T03:25:46Z) - PhysMRV: Physical Memory Retrieval and Verification for Physics Plausibility Reasoning [10.8081248403127]
ビデオ言語モデル(VLM)は,映像理解と視覚的質問応答において優れた性能を発揮している。
トレーニング不要な物理メモリと検証フレームワークであるPhysMRVを提案する。
論文 参考訳(メタデータ) (2026-07-11T08:06:04Z) - How to Instruct Your Robot: Dense Language Annotations Power Robot Policy Learning [69.68882580009982]
デモセグメントをVLM生成アノテーションでラベル付けする2段階のアプローチであるDeMiAnを紹介する。
学習したインストラクターがタスク記述と初期シーンスナップショットをデプロイ時にタスクに適したアノテーションにマップする。
RoboCasaでは、インストラクターはタスクのみのベースラインで5ポイント成功し、タスクごとのオラクルの3ポイント以内に到達する。
論文 参考訳(メタデータ) (2026-05-16T16:52:08Z) - Order from Chaos: Physical World Understanding from Glitchy Gameplay Videos [82.4003989236851]
本稿では,物理世界理解のためのリッチでスケーラブルな監視源として,予め定義された物理法則に違反した視覚異常を参照しながら,ゲームプレイビデオのグリッチを利用する新しいパラダイムを提案する。
我々はPhysGameを紹介した。これは5つの物理ドメインと16のきめ細かいカテゴリからなる140,057のグリッチ中心の質問応答ペアを含むデータセットである。
実験の結果、PhysGameはGame2Realの転送性を大幅に向上させ、Qwen2.5VLの物理推論性能を2.5%向上させ、MVBenchベンチマークで1.9%向上した。
論文 参考訳(メタデータ) (2026-01-23T06:02:07Z) - Can Your Model Separate Yolks with a Water Bottle? Benchmarking Physical Commonsense Understanding in Video Generation Models [14.187604603759784]
本稿では,テキスト・ビデオ・システムの物理的推論能力を評価するためのベンチマークであるPhysVidBenchを紹介する。
各プロンプトに対して、さまざまな最先端モデルを用いてビデオを生成し、3段階評価パイプラインを採用する。
PhysVidBenchは、生成ビデオモデルにおける物理コモンセンスを評価するための構造化、解釈可能なフレームワークを提供する。
論文 参考訳(メタデータ) (2025-07-21T17:30:46Z) - VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation [66.58048825989239]
VideoPhy-2は、生成されたビデオの物理的常識を評価するアクション中心のデータセットである。
我々は、生成したビデオのセマンティック・アテンデンス、物理コモンセンス、および物理ルールのグラウンド化を評価する人間の評価を行う。
結果より,最高のモデルでも22%のジョイントパフォーマンスを達成できたことが示唆された。
論文 参考訳(メタデータ) (2025-03-09T22:49:12Z) - PhysGame: Uncovering Physical Commonsense Violations in Gameplay Videos [66.09921831504238]
ゲームプレイビデオにおける物理コモンセンス違反を評価するための先駆的ベンチマークとしてPhysGameを提案する。
以上の結果から,現在のオープンソースビデオLLMのパフォーマンスは,プロプライエタリビデオよりも大幅に遅れていることが明らかとなった。
このデータセットに基づいて,PhysVLMを物理知識強化ビデオLLMとして提案する。
論文 参考訳(メタデータ) (2024-12-02T18:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。