論文の概要: MLLMs Know When Before Speaking: Revealing and Recovering Temporal Grounding via Attention Cues

• arxiv url: http://arxiv.org/abs/2605.21954v1
• Date: Thu, 21 May 2026 03:40:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.07492
• Title: MLLMs Know When Before Speaking: Revealing and Recovering Temporal Grounding via Attention Cues
• Title（参考訳）: MLLMは話す前に知っている:注意喚起による時間的グラウンドの発見と回収
• Authors: Dazhao Du, Liao Duan, Jian Liu, Tao Han, Yujia Zhang, Eric Liu, Xi Chen, Song Guo,
• Abstract要約: ビデオ時間グラウンド(VTG)は、マルチモーダル大言語モデル(MLLM)がビデオで何が起こるかを理解するための重要なテストである。 本研究では,MLLMのクロスモーダル・アテンションを探索し,知覚と生成のギャップを明らかにする。 まず,TG-Headプレフィルの注意を不偏フレームレベルの関連信号に変換し,ハイライトする高アテンション間隔を抽出する。 次に,この間隔に制限された視覚的コンテキストでMLLMを再起動し,ビデオトリミングやアテンションマスキングを用いて邪魔者を抑える。
• 参考スコア（独自算出の注目度）: 24.503178167769786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video temporal grounding (VTG), which localizes the start and end times of a queried event in an untrimmed video, is a key test of whether multimodal large language models (MLLMs) understand not only what happens but also when it happens. Although modern MLLMs describe video content fluently, their timestamp predictions remain unreliable, while existing remedies either require costly post-training on temporal annotations or rely on coarse training-free heuristics. In this work, we probe the cross-modal attention of MLLMs and uncover a perception-generation gap. Our key finding is that MLLMs often know the target interval during prefill, but lose this signal when generating the final answer. In the prefill stage, a sparse set of attention heads, which we call \emph{Temporal Grounding Heads} (TG-Heads), concentrates query-to-video attention on the ground-truth interval. During autoregressive decoding, however, the answer tokens shift attention away from this interval toward visually salient but query-irrelevant segments. This observation motivates an inference-time read-then-regenerate framework. We first convert TG-Head prefill attention into a debiased frame-level relevance signal and extract the high-attention interval it highlights. We then re-invoke the MLLM with visual context restricted to this interval, using video cropping or attention masking to suppress distractors. Without parameter updates and architectural changes, our framework consistently improves MiMo-VL-7B, Qwen3-VL-8B, and TimeLens-8B on three VTG benchmarks, with gains of up to +3.5 mIoU. The project website can be found at https://ddz16.github.io/mllmsknowwhen.github.io/.
• Abstract（参考訳）: ビデオ時間グラウンド(VTG)は、クエリされたイベントの開始時刻と終了時刻を、トリミングされていないビデオでローカライズするものであり、マルチモーダルな大規模言語モデル(MLLM)が、何が起こるかだけでなく、いつ起こるかを理解する上で重要なテストである。 現代のMLLMでは、ビデオコンテンツが流動的に記述されているが、そのタイムスタンプ予測は信頼性が低いままであり、既存の治療法では、時間的アノテーションのトレーニングに費用がかかるか、粗いトレーニングのないヒューリスティックに頼らなければならない。 本研究では,MLLMのクロスモーダル・アテンションを探索し,知覚と生成のギャップを明らかにする。 我々の重要な発見は、MLLMはプリフィル中のターゲット間隔をよく知るが、最終回答を生成する際にこの信号を失うことである。 プリフィル段階では,<emph{Temporal Grounding Heads} (TG-Heads) と呼ばれる,スプリスなアテンションヘッドセットが,グラウンドトルース間隔にクエリ・ツー・ビデオのアテンションを集中させる。 しかし、自己回帰復号の際には、応答トークンは、この間隔から視覚的に健全だがクエリ非関連なセグメントへと注意を向ける。 この観察は、推論時読み取り-then-再生フレームワークを動機付けている。 まず,TG-Headプレフィルの注意を不偏フレームレベルの関連信号に変換し,ハイライトする高アテンション間隔を抽出する。 次に,この間隔に制限された視覚的コンテキストでMLLMを再起動し,ビデオトリミングやアテンションマスキングを用いて邪魔者を抑える。 パラメータの更新やアーキテクチャの変更がなければ、我々のフレームワークは3つのVTGベンチマークでMiMo-VL-7B、Qwen3-VL-8B、TimeLens-8Bを継続的に改善し、最大3.5 mIoUまで向上する。 プロジェクトのWebサイトはhttps://ddz16.github.io/mllmsknowwhen.github.io/にある。

関連論文リスト

• TransVLM: A Vision-Language Framework and Benchmark for Detecting Any Shot Transitions [52.61846373082384]
  ショットトランジション検出(STD)は本質的に複雑なトランジションに苦しむ。 本稿では,STDのためのビジョン言語モデル(VLM)フレームワークであるTransVLMを提案する。 広範囲な実験により、TransVLMは全体的な性能が優れていることが示された。
  論文  参考訳（メタデータ） (2026-04-30T15:05:06Z)
• One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding [51.08792182064565]
  長いビデオ理解は、膨大なフレーム数のため、視覚言語モデル(VLM)にとって本質的に困難である。 通常、ビデオフレームは数十から数百のトークンに拡張されるため、大きな言語モデル(LLM)のコンテキスト長は制限され、VLMはフレームをわずかに知覚し、時間的情報を失う。 本稿では,XComp という長大なビデオ理解のための極端な圧縮モデルを提案する。
  論文  参考訳（メタデータ） (2026-04-15T17:59:52Z)
• GroundVTS: Visual Token Sampling in Multimodal Large Language Models for Video Temporal Grounding [8.196520511153368]
  ビデオ時間グラウンド(VTG)はビデオにおいて重要なタスクであり、大規模な言語モデル(Vid-LLM)を広範囲のアプリケーションに拡張するための重要な能力を理解する。 既存のVid-LLMは、一様フレームサンプリングに頼って映像情報を抽出し、キーフレームの疎分布と重要な時間的手がかりの喪失をもたらす。 我々は,最も情報性の高い時間セグメントに着目したVid-LLMアーキテクチャであるGroundVTSを提案する。
  論文  参考訳（メタデータ） (2026-04-02T14:19:58Z)
• 1 + 1 > 2: Detector-Empowered Video Large Language Model for Spatio-Temporal Grounding and Reasoning [53.28271278708241]
  本稿では,DEViL の略である Detector-Empowered Video LLM を提案する。 DEViLはオープンボキャブラリ検出器(OVD)とビデオLLMを結合する 単に空間的なプロンプトやセグメンタスイッチとして機能するトークンとは異なり、RTTは制御信号とOVDのテキスト埋め込みの置き換えの両方として機能する。
  論文  参考訳（メタデータ） (2025-12-07T06:11:15Z)
• Seeing the Forest and the Trees: Query-Aware Tokenizer for Long-Video Multimodal Language Models [24.875526594002434]
  長いビデオ理解シナリオのための視覚トークン選択モジュールであるQTSplusを提案する。 Qwen2.5-VLに統合され、ビジョンストリームを textbf89% まで圧縮し、長いビデオでは textbf28% でエンドツーエンドのレイテンシを低減する。 以上の結果から,QTSplusはMLLMを現実世界の長ビデオシナリオに拡張するための,効果的で汎用的なメカニズムであることが示唆された。
  論文  参考訳（メタデータ） (2025-11-14T22:41:27Z)
• Unleashing the Potential of Multimodal LLMs for Zero-Shot Spatio-Temporal Video Grounding [47.400649582392255]
  大規模言語モデル(MLLM)を用いて,STVGのゼロショットソリューションを探索する。 STVGのためのMLLMベースのゼロショットフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-18T17:35:50Z)
• A Survey on Video Temporal Grounding with Multimodal Large Language Model [107.24431595873808]
  時間的グラウンドリング(VTG)の最近の進歩は、きめ細かいビデオ理解を著しく向上させた。 より優れたマルチモーダル理解と推論能力により、MLLM(VTG-MLLM)に基づくVTGアプローチは、従来の微調整手法を徐々に超えつつある。 一般的なビデオ言語理解に関する広範な調査にもかかわらず、VTG-MLLMに関する包括的なレビューは乏しいままである。
  論文  参考訳（メタデータ） (2025-08-07T08:52:11Z)
• Temporal Chain of Thought: Long-Video Understanding by Thinking in Frames [70.93346841539626]
  本稿では,ビデオ質問応答のための推論戦略である思考の時間的連鎖について述べる。 VLM自体を使用して、ビデオから最も関連性の高いフレームを反復的に識別し、抽出する。 推論時により多くの計算を利用すれば、最も関連性の高いコンテキストを選択することで、精度が向上することを示す。
  論文  参考訳（メタデータ） (2025-07-01T18:39:26Z)
• VideoExpert: Augmented LLM for Temporal-Sensitive Video Understanding [48.745013691038295]
  VideoExpertは、複数の時間に敏感なビデオタスクに適した汎用MLLMである。 時間の専門家は、時系列をモデル化し、時間的接地を行う責任を負う。 空間専門家は、コンテンツの詳細分析と以下の指示に焦点を当てている。 コンテンツ生成から時間的グラウンドをオフロードすることで、VideoExpertはタイムスタンプ予測におけるテキストパターンのバイアスを防ぐ。
  論文  参考訳（メタデータ） (2025-04-10T07:33:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。