論文の概要: Video-LLMs with Temporal Visual Screening

• arxiv url: http://arxiv.org/abs/2508.21094v1
• Date: Wed, 27 Aug 2025 14:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-01 19:45:10.818941
• Title: Video-LLMs with Temporal Visual Screening
• Title（参考訳）: 時間的視覚スクリーニングによるビデオLLM
• Authors: Zheyu Fan, Jiateng Liu, Yuji Zhang, Zihan Wang, Yi R., Fung, Manling Li, Heng Ji,
• Abstract要約: テンポラル・ビジュアル・スクリーニング (TVS) はビデオ質問応答とチューニングデータを処理する新しいタスクである。 TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。 実験により、TVSを取り入れた場合、相対利得は7.33%(トレーニング)、34.6%(推論)となることが示された。
• 参考スコア（独自算出の注目度）: 53.89952904971981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans naturally perform temporal screening by dragging the progress bar and focusing on salient temporal segments, but current Video Large Language Models (Video-LLMs) struggle to capture fine-grained temporal semantics due to sparse frame sampling and insufficient inter-frame reasoning supervision during their training. To address this, Inspired by well-established cognitive science principles, we propose Temporal Visual Screening (TVS), a new task that universally pre-processes video question answering and instruction tuning data by: (1) retaining focus-critical video segments, (2) synchronously reconstructing queries to their most direct form while preserving answer consistency, and (3) keeping the invariance and consistency for any possible answer. TVS is formulated as a modular front-end adapter task that can be seamlessly integrated into both Video Instruction Tuning (training) and Video Question Answering (inference) pipelines. TVS optimizes distribution of reasoning burden and cognitive load; during training, it aligns queries with focus-critical visual information; at inference, it enables query-aware segment focus and streamlined query representations. In particular, we curate the first benchmark for TVS and propose ReSimplifyIt, a baseline outperforming prior approaches on seemingly similar tasks by 0.47 in F-1 score on video trimming while achieving competitive query rewriting performance. Experiments demonstrate that incorporating TVS yields relative gains of 7.33% (training) and 34.6% (inference), demonstrating the effectiveness of temporal information screening for improving video-language understanding.
• Abstract（参考訳）: 人間はプログレッシブバーをドラッグして時間セグメントに焦点を合わせることで時間的スクリーニングを自然に行うが、現在のビデオ大言語モデル(Video Large Language Models, Video-LLMs)は、スパースフレームサンプリングによる微粒な時間的意味を捉えるのに苦労し、トレーニング中にフレーム間推論の監督が不十分である。 本研究は,認知科学の確立した原則にヒントを得て,(1)フォーカスクリティカルなビデオセグメントの維持,(2)応答の一貫性を維持しつつクエリを最も直接的な形式に同期的に再構築,(3)応答の不変性と一貫性を維持することによる,ビデオ質問応答とチューニングデータを普遍的に前処理するタスクであるテンポラル・ビジュアル・スクリーニング(TVS)を提案する。 TVSは、ビデオインストラクションチューニング(トレーニング)とビデオ質問回答(推論)パイプラインの両方にシームレスに統合可能な、モジュール化されたフロントエンドアダプタタスクとして定式化されている。 TVSは推論の負担と認知的負荷の分散を最適化し、トレーニング中はクエリを焦点クリティカルな視覚情報と整合させ、推論時にはクエリ対応セグメントのフォーカスとクエリ表現の合理化を可能にする。 特に、TVSの最初のベンチマークをキュレートし、競合クエリ書き換え性能を達成しつつ、ビデオトリミングにおけるF-1スコアの0.47という、一見類似したタスクに対する事前のアプローチよりも優れたベースラインであるReSimplifyItを提案する。 実験により、TVSを取り入れた場合の相対利得は7.33%(トレーニング)と34.6%(推論)となり、ビデオ言語理解を改善するための時間情報スクリーニングの有効性が示された。

関連論文リスト

• Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
  大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。 人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。 Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
  論文  参考訳（メタデータ） (2025-08-13T04:33:07Z)
• Emergent Temporal Correspondences from Video Diffusion Transformers [30.83001895223298]
  DiffTrackは、この問題に答えるために設計された最初の定量的分析フレームワークである。 分析の結果,特定のクエリキーの類似性がすべてではないが,時間的マッチングにおいて重要な役割を担っていることが明らかとなった。 本研究は,映像の時間的整合性を改善する新たなガイダンス法により,動画の動作向上に拡張する。
  論文  参考訳（メタデータ） (2025-06-20T17:59:55Z)
• Prompts to Summaries: Zero-Shot Language-Guided Video Summarization [12.200609701777907]
  Prompts-to-Summaries:最初のゼロショット・テキストクエリ可能なビデオ要約器を紹介する。 市販のビデオ言語モデル(VidLMs)のキャプションを、大きな言語モデル(LLMs)によるユーザガイドのスキムに変換する。 我々のパイプラインは、メモリ効率の高いバッチスタイルのVidLMプロンプトスキームにより、リッチなシーンレベルの記述を生成する。 SumMe と TVSum では、我々のデータフリーアプローチは、以前のデータハングリーな教師なし手法を全て上回っている。
  論文  参考訳（メタデータ） (2025-06-12T15:23:11Z)
• Time-R1: Post-Training Large Vision Language Model for Temporal Video Grounding [57.26400319795876]
  時間的ビデオグラウンディング(TVG)は、長めのビデオ理解における中核的な課題である。 近年のLVLM(Large Vision-Language Models)は,教師付き微調整によるTVG処理の早期実現を示唆している。 強化学習によるLVLMの一般化能力を高める新しいポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-17T17:04:20Z)
• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)
• Temporal Sentence Grounding in Streaming Videos [60.67022943824329]
  本稿では,ストリーミングビデオにおける時間文グラウンディング(TSGSV)の新たな課題に取り組むことを目的とする。 TSGSVの目標は、ビデオストリームと所定の文クエリの関連性を評価することである。 本研究では,(1)モデルが今後のイベントを学習することを可能にするTwinNet構造,(2)冗長な視覚的フレームを除去する言語誘導型特徴圧縮器の2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-14T12:30:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。