論文の概要: VITED: Video Temporal Evidence Distillation

• arxiv url: http://arxiv.org/abs/2503.12855v1
• Date: Mon, 17 Mar 2025 06:30:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 16:00:53.228692
• Title: VITED: Video Temporal Evidence Distillation
• Title（参考訳）: VITED:ビデオ・テンポラル・エビデンス蒸留
• Authors: Yujie Lu, Yale Song, William Wang, Lorenzo Torresani, Tushar Nagarajan,
• Abstract要約: そこで我々は,チェーン・オブ・エビデンス推論による複雑なビデオ質問応答について検討した。 モデルは、固定数のフレームを均一にサンプリングするため、多段階の推論に苦労する。 本稿では,既存のビデオQAデータセットをエビデンス・アソシエーション・チェーンで拡張するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 49.38292490256531
• License:
• Abstract: We investigate complex video question answering via chain-of-evidence reasoning -- identifying sequences of temporal spans from multiple relevant parts of the video, together with visual evidence within them. Existing models struggle with multi-step reasoning as they uniformly sample a fixed number of frames, which can miss critical evidence distributed nonuniformly throughout the video. Moreover, they lack the ability to temporally localize such evidence in the broader context of the full video, which is required for answering complex questions. We propose a framework to enhance existing VideoQA datasets with evidence reasoning chains, automatically constructed by searching for optimal intervals of interest in the video with supporting evidence, that maximizes the likelihood of answering a given question. We train our model (VITED) to generate these evidence chains directly, enabling it to both localize evidence windows as well as perform multi-step reasoning across them in long-form video content. We show the value of our evidence-distilled models on a suite of long video QA benchmarks where we outperform state-of-the-art approaches that lack evidence reasoning capabilities.
• Abstract（参考訳）: ビデオ内の複数の関連部分から時間的スパンのシーケンスを識別し,その内部の視覚的証拠と合わせて,複雑なビデオ質問応答をチェーン・オブ・エビデンス推論により検討する。 既存のモデルは、一定数のフレームを均一にサンプリングすることで、ビデオ全体を通して不均一に配布された致命的な証拠を見逃しかねないため、多段階の推論に苦慮している。 さらに、複雑な質問に答えるために必要とされるフルビデオのより広い文脈で、このような証拠を時間的に局所化する能力は欠如している。 本稿では,既存のビデオQAデータセットをエビデンス推論チェーンで拡張するフレームワークを提案する。 我々は、これらのエビデンス・チェーンを直接生成するためにモデル(VITED)をトレーニングし、エビデンス・ウィンドウのローカライズと、長めの動画コンテンツにおける複数のステップの推論を可能にする。 証拠を蒸留したモデルの価値を、証拠推論能力に欠ける最先端のアプローチより優れている、一連のビデオQAベンチマークで示します。

関連論文リスト

• VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
  空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。 GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。 フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-22T08:33:36Z)
• MoVQA: A Benchmark of Versatile Question-Answering for Long-Form Movie Understanding [69.04413943858584]
  長文映画の質問応答データセットであるMoVQAを紹介する。 マルチモーダルシステムの多様な認知能力を評価するためのベンチマークも行った。
  論文  参考訳（メタデータ） (2023-12-08T03:33:38Z)
• MIST: Multi-modal Iterative Spatial-Temporal Transformer for Long-form Video Question Answering [73.61182342844639]
  我々は,MIST(Multi-modal Iterative Spatial-temporal Transformer)と呼ばれる新しいモデルを導入する。 MISTは、従来の密集時空間自己アテンションをカスケードセグメントと領域選択モジュールに分解する。 異なる粒度の視覚概念は、アテンションモジュールを通して効率的に処理される。
  論文  参考訳（メタデータ） (2022-12-19T15:05:40Z)
• DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization [127.16984421969529]
  DeepQAMVSと呼ばれるマルチビデオ要約のための新しいQuery-Aware階層型ポインタネットワークを紹介します。 DeepQAMVSは強化学習で訓練され、代表性、多様性、クエリ適応性、時間的コヒーレンスを捉えた報酬を取り入れている。 MVS1Kデータセットで最新の結果を達成し、入力されたビデオフレームの数と線形に推論時間をスケーリングします。
  論文  参考訳（メタデータ） (2021-05-13T17:33:26Z)
• Transforming Multi-Concept Attention into Video Summarization [36.85535624026879]
  本稿では,複雑な映像データを用いた映像要約のための新しいアテンションベースフレームワークを提案する。 我々のモデルはラベル付きデータとラベルなしデータの両方に適用でき、実世界のアプリケーションに好適である。
  論文  参考訳（メタデータ） (2020-06-02T06:23:50Z)
• Multi-Modal Video Forensic Platform for Investigating Post-Terrorist Attack Scenarios [55.82693757287532]
  大規模ビデオ分析プラットフォーム(VAP)は、容疑者を特定し証拠を確保するために法執行機関(LEA)を支援する。 本稿では,視覚・音声分析モジュールを統合し,監視カメラからの情報と目撃者からの映像アップロードを融合するビデオ分析プラットフォームを提案する。
  論文  参考訳（メタデータ） (2020-04-02T14:29:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。