論文の概要: PhysGame: Uncovering Physical Commonsense Violations in Gameplay Videos

• arxiv url: http://arxiv.org/abs/2412.01800v1
• Date: Mon, 02 Dec 2024 18:47:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:22.703994
• Title: PhysGame: Uncovering Physical Commonsense Violations in Gameplay Videos
• Title（参考訳）: PhysGame:ゲームプレイビデオで物理コモンセンス違反を発見
• Authors: Meng Cao, Haoran Tang, Haoze Zhao, Hangyu Guo, Jiaheng Liu, Ge Zhang, Ruyang Liu, Qiang Sun, Ian Reid, Xiaodan Liang,
• Abstract要約: ゲームプレイビデオにおける物理コモンセンス違反を評価するための先駆的ベンチマークとしてPhysGameを提案する。 以上の結果から,現在のオープンソースビデオLLMのパフォーマンスは,プロプライエタリビデオよりも大幅に遅れていることが明らかとなった。 このデータセットに基づいて,PhysVLMを物理知識強化ビデオLLMとして提案する。
• 参考スコア（独自算出の注目度）: 66.09921831504238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in video-based large language models (Video LLMs) have witnessed the emergence of diverse capabilities to reason and interpret dynamic visual content. Among them, gameplay videos stand out as a distinctive data source, often containing glitches that defy physics commonsense. This characteristic renders them an effective benchmark for assessing the under-explored capability of physical commonsense understanding in video LLMs. In this paper, we propose PhysGame as a pioneering benchmark to evaluate physical commonsense violations in gameplay videos. PhysGame comprises 880 videos associated with glitches spanning four fundamental domains (i.e., mechanics, kinematics, optics, and material properties) and across 12 distinct physical commonsense. Through extensively evaluating various state-ofthe-art video LLMs, our findings reveal that the performance of current open-source video LLMs significantly lags behind that of proprietary counterparts. To bridge this gap, we curate an instruction tuning dataset PhysInstruct with 140,057 question-answering pairs to facilitate physical commonsense learning. In addition, we also propose a preference optimization dataset PhysDPO with 34,358 training pairs, where the dis-preferred responses are generated conditioned on misleading titles (i.e., meta information hacking), fewer frames (i.e., temporal hacking) and lower spatial resolutions (i.e., spatial hacking). Based on the suite of datasets, we propose PhysVLM as a physical knowledge-enhanced video LLM. Extensive experiments on both physical-oriented benchmark PhysGame and general video understanding benchmarks demonstrate the state-ofthe-art performance of PhysVLM.
• Abstract（参考訳）: ビデオベース大規模言語モデル(ビデオLLM)の最近の進歩は、動的視覚コンテンツを推論し解釈する多様な能力の出現を目撃している。 その中でも、ゲームプレイビデオはユニークなデータソースとして際立っている。 この特徴は、ビデオLLMにおける物理コモンセンス理解の未探索能力を評価するための効果的なベンチマークとなる。 本稿では,ゲームプレイビデオにおける物理コモンセンス違反を評価するための先駆的ベンチマークとしてPhysGameを提案する。 PhysGameは、4つの基本的な領域(力学、キネマティクス、光学、材料特性)にまたがるグリッチに関連する880の動画と、12の異なる物理コモンセンスで構成されている。 各種の最先端ビデオLLMを広範囲に評価した結果,現在のオープンソースビデオLLMの性能は,プロプライエタリビデオよりも著しく遅れていることが明らかとなった。 このギャップを埋めるために,140,057組の質問応答ペアを用いて指導調律データセットPhysInstructをキュレートし,物理コモンセンス学習を容易にする。 また,34,358のトレーニングペアを持つ選好最適化データセットPhysDPOを提案し,非推奨の応答が誤解を招くタイトル(メタ情報ハッキング)、フレームの削減(時間的ハッキング)、空間分解能の低下(空間ハッキング)を条件に生成される。 このデータセットに基づいて,PhysVLMを物理知識強化ビデオLLMとして提案する。 物理指向型ベンチマークPhysGameと一般ビデオ理解型ベンチマークの両方での大規模な実験は、PhysVLMの最先端性能を実証している。

関連論文リスト

• VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior [88.51778468222766]
  近年,映像拡散モデル (VDM) が大幅に進歩し,映像のリアル化が進んでいる。 VDMは物理の理解の欠如のため、物理的にもっともらしいビデオを作ることができないことが多い。 本稿では,物理を視覚と言語に明示的に組み込んだ新しい2段階画像・映像生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-30T09:03:09Z)
• VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation [66.58048825989239]
  VideoPhy-2は、生成されたビデオの物理的常識を評価するアクション中心のデータセットである。 我々は、生成したビデオのセマンティック・アテンデンス、物理コモンセンス、および物理ルールのグラウンド化を評価する人間の評価を行う。 結果より,最高のモデルでも22%のジョイントパフォーマンスを達成できたことが示唆された。
  論文  参考訳（メタデータ） (2025-03-09T22:49:12Z)
• Towards Visual Discrimination and Reasoning of Real-World Physical Dynamics: Physics-Grounded Anomaly Detection [2.1013864820763755]
  人間は、物体条件の物理的知識に基づいて、知覚、相互作用、推論によって現実世界の物体の異常を検出する。 Phys-ADは、産業異常検出のための、最初の大規模で現実世界の物理地上ビデオデータセットである。 このデータセットには、22の現実世界のオブジェクトカテゴリにわたる6400以上のビデオが含まれており、ロボットアームやモーターと相互作用し、47種類の異常を示す。
  論文  参考訳（メタデータ） (2025-03-05T14:49:08Z)
• VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
  生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。 そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。 人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
  論文  参考訳（メタデータ） (2024-06-05T17:53:55Z)
• DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• CLIP meets GamePhysics: Towards bug identification in gameplay videos using zero-shot transfer learning [4.168157981135698]
  本稿では,関連するゲームプレイ映像を検索するために,英語のテキストクエリを入力として受け入れる検索手法を提案する。 われわれのアプローチは外部情報(ビデオメタデータなど)に頼らない。 我々のアプローチの例としては、ビデオゲームのバグを再現するためのゲームプレイ用ビデオ検索エンジンがある。
  論文  参考訳（メタデータ） (2022-03-21T16:23:02Z)
• Dynamic Visual Reasoning by Learning Differentiable Physics Models from Video and Language [92.7638697243969]
  視覚概念を協調的に学習し,映像や言語から物体の物理モデルを推定する統合フレームワークを提案する。 これは視覚認識モジュール、概念学習モジュール、微分可能な物理エンジンの3つのコンポーネントをシームレスに統合することで実現される。
  論文  参考訳（メタデータ） (2021-10-28T17:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。