論文の概要: Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models

• arxiv url: http://arxiv.org/abs/2503.18923v1
• Date: Mon, 24 Mar 2025 17:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:35:23.536371
• Title: Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models
• Title（参考訳）: Video SimpleQA: 大規模ビデオ言語モデルにおけるファクチュアリティ評価を目指して
• Authors: Meng Cao, Pengfei Hu, Yingyao Wang, Jihao Gu, Haoran Tang, Haoze Zhao, Jiahua Dong, Wangbo Yu, Ge Zhang, Ian Reid, Xiaodan Liang,
• Abstract要約: Video SimpleQAは、LVLMの事実性評価に適した最初の総合的なベンチマークである。 私たちの研究は、以下の重要な機能を通じて、既存のビデオベンチマークと区別します。 答えは、簡潔なフォーマットで曖昧で決定的に正しいものとして作成されます。
• 参考スコア（独自算出の注目度）: 69.68265487134686
• License:
• Abstract: Recent advancements in Large Video Language Models (LVLMs) have highlighted their potential for multi-modal understanding, yet evaluating their factual grounding in video contexts remains a critical unsolved challenge. To address this gap, we introduce Video SimpleQA, the first comprehensive benchmark tailored for factuality evaluation of LVLMs. Our work distinguishes from existing video benchmarks through the following key features: 1) Knowledge required: demanding integration of external knowledge beyond the explicit narrative; 2) Fact-seeking question: targeting objective, undisputed events or relationships, avoiding subjective interpretation; 3) Definitive & short-form answer: Answers are crafted as unambiguous and definitively correct in a short format, enabling automated evaluation through LLM-as-a-judge frameworks with minimal scoring variance; 4) External-source verified: All annotations undergo rigorous validation against authoritative external references to ensure the reliability; 5) Temporal reasoning required: The annotated question types encompass both static single-frame understanding and dynamic temporal reasoning, explicitly evaluating LVLMs factuality under the long-context dependencies. We extensively evaluate 41 state-of-the-art LVLMs and summarize key findings as follows: 1) Current LVLMs exhibit notable deficiencies in factual adherence, particularly for open-source models. The best-performing model Gemini-1.5-Pro achieves merely an F-score of 54.4%; 2) Test-time compute paradigms show insignificant performance gains, revealing fundamental constraints for enhancing factuality through post-hoc computation; 3) Retrieval-Augmented Generation demonstrates consistent improvements at the cost of additional inference time overhead, presenting a critical efficiency-performance trade-off.
• Abstract（参考訳）: 近年のLVLM(Large Video Language Models)の進歩は,マルチモーダルな理解の可能性を強調している。 このギャップに対処するために、LVLMの事実性評価に適した最初の総合的なベンチマークであるVideo SimpleQAを紹介する。 私たちの研究は、以下の重要な機能を通じて、既存のビデオベンチマークと区別します。 1) 必要な知識:明示的な物語を超えて外部知識の統合を要求すること 2) Fact-seeking question: targeting objective, undisputed events or relationship, avoiding subjective interpretation 3) 決定的かつ短期的な回答: 回答は、簡潔なフォーマットで曖昧かつ決定的に正しいものとして作成され、最小のスコアリング分散を伴うLCM-as-a-judgeフレームワークによる自動評価を可能にします。 4) 外部ソース検証: 信頼性を確保するため、すべてのアノテーションは、権威のある外部参照に対して厳格な検証を行う。 5) 時間的推論: 注釈付き質問タイプは静的な単一フレーム理解と動的時間的推論の両方を含み、LVLMの事実を長いコンテキスト依存の下で明示的に評価する。 41種類のLVLMを広範囲に評価し,重要な知見を以下にまとめる。 1)現在のLVLMは,特にオープンソースモデルにおいて,実効性に顕著な欠陥を呈している。 最高のパフォーマンスモデルであるGemini-1.5-ProはFスコア54.4%しか達成していない。 2) テストタイム計算のパラダイムは,ポストホック計算による事実性向上の基本的な制約を明らかにするとともに,重要な性能向上を示す。 3)Retrieval-Augmented Generationは、追加の推論時間オーバーヘッドを犠牲にして一貫した改善を示し、重要な効率と性能のトレードオフを示します。

関連論文リスト

• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)
• Improving Retrieval Augmented Language Model with Self-Reasoning [20.715106330314605]
  本稿では,ALMの信頼性とトレーサビリティ向上を目的とした,新たな自己推論フレームワークを提案する。 このフレームワークは、関連性を認識したプロセス、エビデンスを認識した選択プロセス、軌跡解析プロセスの3つのプロセスで自己推論軌道を構築することを含む。 提案手法の優位性を示すため,4つの公開データセットにまたがるフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-07-29T09:05:10Z)
• VideoEval: Comprehensive Benchmark Suite for Low-Cost Evaluation of Video Foundation Model [22.188795668927586]
  ビデオファウンデーションモデル(VFM)は近年大きな進歩を遂げている。 既存のベンチマークと評価プロトコルは、比較的低い多様性、高い評価コスト、飽和したパフォーマンスメトリクスによって制限されることが多い。 これらの問題、すなわちVideoEvalに対処するための包括的なベンチマークスイートを構築しています。
  論文  参考訳（メタデータ） (2024-07-09T01:49:08Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• ViLMA: A Zero-Shot Benchmark for Linguistic and Temporal Grounding in Video-Language Models [28.305932427801682]
  ViLMA(ビデオ言語モデルアセスメント)は,VidLMのきめ細かい機能を評価するタスク非依存のベンチマークである。 ViLMAは、コントロールされた評価スイートを提供し、これらのモデルの真の可能性と、人間レベルの理解と比較してパフォーマンスのギャップを浮き彫りにしている。 静止画像を用いた視覚言語モデルに比べ,現在のVidLMの接地能力は良くないことを示す。
  論文  参考訳（メタデータ） (2023-11-13T02:13:13Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。