論文の概要: Impossible Videos

• arxiv url: http://arxiv.org/abs/2503.14378v1
• Date: Tue, 18 Mar 2025 16:10:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:15:42.339957
• Title: Impossible Videos
• Title（参考訳）: Unossible Videos
• Authors: Zechen Bai, Hai Ci, Mike Zheng Shou,
• Abstract要約: IPV-Benchは、ビデオ理解と生成の進歩を評価するために設計されたベンチマークである。 物理的、生物学的、地理的、社会的な法則に反する多様な場面が特徴である。 不可能なビデオを理解する能力に基づいて、ビデオLLMを評価するためのベンチマークが作成されている。
• 参考スコア（独自算出の注目度）: 21.16715759223276
• License:
• Abstract: Synthetic videos nowadays is widely used to complement data scarcity and diversity of real-world videos. Current synthetic datasets primarily replicate real-world scenarios, leaving impossible, counterfactual and anti-reality video concepts underexplored. This work aims to answer two questions: 1) Can today's video generation models effectively follow prompts to create impossible video content? 2) Are today's video understanding models good enough for understanding impossible videos? To this end, we introduce IPV-Bench, a novel benchmark designed to evaluate and foster progress in video understanding and generation. IPV-Bench is underpinned by a comprehensive taxonomy, encompassing 4 domains, 14 categories. It features diverse scenes that defy physical, biological, geographical, or social laws. Based on the taxonomy, a prompt suite is constructed to evaluate video generation models, challenging their prompt following and creativity capabilities. In addition, a video benchmark is curated to assess Video-LLMs on their ability of understanding impossible videos, which particularly requires reasoning on temporal dynamics and world knowledge. Comprehensive evaluations reveal limitations and insights for future directions of video models, paving the way for next-generation video models.
• Abstract（参考訳）: 現在、合成ビデオは、実際のビデオのデータ不足と多様性を補完するために広く使われている。 現在の合成データセットは主に現実世界のシナリオを再現し、不可能、反現実的、反現実的なビデオ概念を未発見のまま残している。 この仕事は2つの質問に答えることを目的としています。 1)今日のビデオ生成モデルは、不可能なビデオコンテンツを作成するためのプロンプトを効果的に追えるか? 2)今日のビデオ理解モデルは、不可能なビデオを理解するのに十分か? この目的のために,ビデオ理解と生成の進歩を評価・促進する新しいベンチマークであるIPV-Benchを紹介する。 IPV-Benchは4つのドメインと14のカテゴリからなる包括的な分類によって支えられている。 物理的、生物学的、地理的、社会的な法則に反する多様な場面が特徴である。 分類に基づいて、ビデオ生成モデルを評価するためにプロンプトスイートを構築し、そのプロンプトフォローとクリエイティビティ能力に挑戦する。 さらに、ビデオベンチマークを使用して、不可能なビデオを理解する能力に基づいて、ビデオ-LLMを評価する。 包括的評価は、ビデオモデルの将来的な方向性の限界と洞察を明らかにし、次世代のビデオモデルへの道を開く。

関連論文リスト

• Generative Ghost: Investigating Ranking Bias Hidden in AI-Generated Videos [106.5804660736763]
  ビデオ情報検索は、ビデオコンテンツにアクセスするための基本的なアプローチである。 我々は,検索モデルがアドホックや画像検索タスクにおいて,AI生成コンテンツに好適であることを示す。 我々は、ビデオ検索に挑戦する文脈において、同様のバイアスが出現するかどうかを考察する。
  論文  参考訳（メタデータ） (2025-02-11T07:43:47Z)
• Video Creation by Demonstration [59.389591010842636]
  我々は、条件付き将来のフレーム予測によってラベルなしビデオから学習する自己教師型トレーニングアプローチである$delta$-Diffusionを提案する。 映像基盤モデルと外観ボトルネック設計を併用して,実演映像から動作遅延を抽出し,生成プロセスの条件付けを行う。 実証的に、$delta$-Diffusionは人間の好みと大規模マシン評価の両方の観点から、関連するベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-12-12T18:41:20Z)
• What Matters in Detecting AI-Generated Videos like Sora? [51.05034165599385]
  合成ビデオと現実世界のビデオのギャップは、まだ未発見のままだ。 本研究では,現在最先端のAIモデルであるStable Video Diffusionによって生成された実世界の映像を比較した。 我々のモデルは、訓練中にSoraのビデオに露出することなく、Soraが生成した映像を高精度に検出することができる。
  論文  参考訳（メタデータ） (2024-06-27T23:03:58Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
  生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。 そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。 人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
  論文  参考訳（メタデータ） (2024-06-05T17:53:55Z)
• Multi-object Video Generation from Single Frame Layouts [84.55806837855846]
  本研究では,グローバルシーンを局所オブジェクトに合成するビデオ生成フレームワークを提案する。 我々のフレームワークは、画像生成手法からの非自明な適応であり、この分野では新しくなっています。 本モデルは広範に使用されている2つのビデオ認識ベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-05-06T09:07:01Z)
• How Would The Viewer Feel? Estimating Wellbeing From Video Scenarios [73.24092762346095]
  情緒応答と主観的幸福感に注釈を付けた6万本以上のビデオを備えた大規模データセットを2つ導入した。 Video Cognitive Empathyデータセットには、微粒な感情応答の分布のためのアノテーションが含まれており、モデルが感情状態の詳細な理解を得ることができる。 Video to Valenceデータセットには、ビデオ間の相対的な快適性のアノテーションが含まれている。
  論文  参考訳（メタデータ） (2022-10-18T17:58:25Z)
• Highlight Timestamp Detection Model for Comedy Videos via Multimodal Sentiment Analysis [1.6181085766811525]
  本研究では,この分野での最先端性能を得るためのマルチモーダル構造を提案する。 マルチモーダルビデオ理解のためのベンチマークをいくつか選択し、最適な性能を求めるのに最適なモデルを適用した。
  論文  参考訳（メタデータ） (2021-05-28T08:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。