論文の概要: On the Consistency of Video Large Language Models in Temporal Comprehension

• arxiv url: http://arxiv.org/abs/2411.12951v1
• Date: Wed, 20 Nov 2024 00:47:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:20.861409
• Title: On the Consistency of Video Large Language Models in Temporal Comprehension
• Title（参考訳）: 時間的理解におけるビデオ大言語モデルの整合性について
• Authors: Minjoon Jung, Junbin Xiao, Byoung-Tak Zhang, Angela Yao,
• Abstract要約: ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。 予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
• 参考スコア（独自算出の注目度）: 57.985769348320616
• License:
• Abstract: Video large language models (Video-LLMs) can temporally ground language queries and retrieve video moments. Yet, such temporal comprehension capabilities are neither well-studied nor understood. So we conduct a study on prediction consistency -- a key indicator for robustness and trustworthiness of temporal grounding. After the model identifies an initial moment within the video content, we apply a series of probes to check if the model's responses align with this initial grounding as an indicator of reliable comprehension. Our results reveal that current Video-LLMs are sensitive to variations in video contents, language queries, and task settings, unveiling severe deficiencies in maintaining consistency. We further explore common prompting and instruction-tuning methods as potential solutions, but find that their improvements are often unstable. To that end, we propose event temporal verification tuning that explicitly accounts for consistency, and demonstrate significant improvements for both grounding and consistency. Our data and code will be available at https://github.com/minjoong507/Consistency-of-Video-LLM.
• Abstract（参考訳）: ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。 しかし、このような時間的理解能力は十分に研究されておらず、理解されていない。 ですから私たちは,時間的根拠の堅牢性と信頼性を示す重要な指標である,予測整合性の研究を行います。 モデルがビデオコンテンツ内の初期モーメントを識別した後、信頼性のある理解の指標として、モデルの応答がこの初期グラウンドと一致しているかどうかを確認するために一連のプローブを適用する。 その結果,現在のビデオLLMは映像の内容,言語クエリ,タスク設定の変動に敏感であり,一貫性の維持に重大な欠陥があることが判明した。 さらに、潜在的な解決策として、一般的なプロンプト法や命令調整法についても検討するが、その改善は不安定であることが多い。 そこで本稿では,一貫性を明示的に考慮したイベント時時整合チューニングを提案し,グラウンド化と一貫性の両面での大幅な改善を示す。 私たちのデータとコードはhttps://github.com/minjoong507/Consistency-of-Video-LLM.comで公開されます。

関連論文リスト

• TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
  TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。 ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。 GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)
• VideoQA in the Era of LLMs: An Empirical Study [108.37456450182054]
  Video Large Language Models (Video-LLMs) は盛んであり、多くのビデオ直感的なタスクを進歩させている。 本研究は,ビデオQAにおけるビデオLLMの行動に関するタイムリーかつ包括的な研究を行う。 分析の結果,ビデオ-LLMはビデオQAで優れており,文脈的手がかりを相関させ,様々な映像コンテンツに関する質問に対して妥当な応答を生成できることがわかった。 しかし、時間的コンテンツ順序の推論とQA関連時間的モーメントのグラウンド化の両方において、ビデオの時間性を扱うモデルが失敗する。
  論文  参考訳（メタデータ） (2024-08-08T05:14:07Z)
• SpikeMba: Multi-Modal Spiking Saliency Mamba for Temporal Video Grounding [50.337896542603524]
  時間的ビデオグラウンドティングのためのマルチモーダル・スパイク・サリエンシ・マンバであるSpikeMbaを紹介した。 我々のアプローチでは、スパイキングニューラルネットワーク(SNN)と状態空間モデル(SSM)を統合して、そのユニークな利点を活用する。 我々の実験は、最先端の手法を一貫して上回るSpikeMbaの有効性を実証した。
  論文  参考訳（メタデータ） (2024-04-01T15:26:44Z)
• Test of Time: Instilling Video-Language Models with a Sense of Time [42.290970800790184]
  既存の7つのビデオ言語モデルは、単純な時間的関係を理解するのに苦労している。 そこで本稿では,少量のビデオテキストデータに基づく事前学習に基づく時間適応手法であるVideoCLIPを提案する。 タスクにより高い時間意識を必要とする場合,特にパフォーマンス向上の促進を観察する。
  論文  参考訳（メタデータ） (2023-01-05T14:14:36Z)
• Revisiting the "Video" in Video-Language Understanding [56.15777956496518]
  本稿では,ビデオ言語解析の新しいモデルであるアテンポラルプローブ(ATP)を提案する。 現在のビデオ言語ベンチマークの限界とポテンシャルを特徴付ける。 ATPをフルビデオレベル時間モデルに効果的に統合することで、効率と最先端の精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-03T17:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。