論文の概要: When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs

• arxiv url: http://arxiv.org/abs/2609.37345v1
• Date: Tue, 29 Sep 2026 12:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.472449
• Title: When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs
• Title（参考訳）: ビデオLLMをストリーミングする際の時間的アロケーション
• Abstract要約: WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。 WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。 我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
• 参考スコア（独自算出の注目度）: 55.016033209274376
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming video understanding requires Video Large Language Models (Video-LLMs) to reason over continuous visual streams under causal constraints. As the visual history grows, a bounded visual?processing budget requires evidence selection that balances temporal recency with query relevance. Recent-only selection excludes potentially relevant historical evidence, whereas Semantic-only retrieval can displace useful recent context when relevance scores are ambiguous. We introduce WRWS (When to Retrieve, When to Stay), a training-free framework for uncertainty-adaptive evidence allocation. A lightweight external vision-language encoder scores query relevance across the observed history, while an adaptive allocation module uses the normalized entropy of the similarity distribution as a proxy for retrieval uncertainty. WRWS favors semantic retrieval when relevance cues are reliable and strengthens the recency prior under uncertainty. Following a retrieve-first, encode-later pipeline, WRWS selects evidence before target-model visual encoding, such that only the selected observations are processed by the costly target Video-LLM. Experiments across four Video-LLM families and multiple model scales demonstrate competitive accuracy on StreamingBench and OVO-Bench. In our efficiency evaluation, WRWS reduces average vision-to-answer time to 47.93% of the state-of-the-art method. Code will be released.
• Abstract（参考訳）: ビデオ理解のストリーミングにはビデオ大言語モデル (Video Large Language Models, Video-LLMs) が必要である。 視覚履歴が大きくなるにつれて、境界付き視覚? 処理予算には 時間的信頼度とクエリ関連性のバランスをとる 証拠選択が必要です 最近の選択は、潜在的に関連する歴史的証拠を除外するが、セマンティックのみの検索は、関連性スコアが曖昧である場合に有用な最近の文脈を置き換えることができる。 WRWS(When to Retrieve, When to Stay)は不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。 軽量な外部視覚言語エンコーダは、観測履歴全体でクエリ関連性をスコアし、アダプティブアロケーションモジュールは、類似度分布の正規化エントロピーを検索不確実性のプロキシとして使用する。 WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。 WRWSは、検索ファーストでエンコード後のパイプラインに続いて、ターゲットモデルの視覚的エンコーディングの前にエビデンスを選択し、選択した観察のみをコストの高いターゲットであるVideo-LLMによって処理する。 4つのビデオLLMファミリーと複数のモデルスケールにわたる実験は、StreamingBenchとOVO-Benchの競合精度を示している。 我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。 コードはリリースされる。

関連論文リスト

• PARSEE-VAD: Efficient Training-Free Online Video Anomaly Detection via Proposition-Aware Reasoning and Streaming Evidence Escalation [24.367658227422698]
  凍結したマルチモーダル言語モデルによるトレーニング不要なオンラインビデオ異常検出には,2つの課題がある。 本稿では,意味的エビデンス獲得とスコア状態の進化を分離するフレームワークであるPARSEE-VADを紹介する。 実験はトレーニングなしのオンラインパフォーマンスを示し、選択的ルーティングは専門的な計算を減らします。
  論文  参考訳（メタデータ） (2026-09-27T05:24:55Z)
• VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models [30.792102059830274]
  Video-Adaptive Debiasing via Evidence Reweighting (VADER)は、2つの補完モジュールを持つトレーニング不要のフレームワークである。 Visual Focus Reallocation (VFR)は、ビデオ検索の各入力に対する介入ポリシーを自動的にインスタンス化する。 SEE(Selective Evidence Erasure)は、フレーム毎に高重要性の視覚トークンを隠蔽する。
  論文  参考訳（メタデータ） (2026-08-09T10:09:11Z)
• On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
  ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。 予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
  論文  参考訳（メタデータ） (2024-11-20T00:47:17Z)
• Towards Video Anomaly Retrieval from Video Anomaly Detection: New Benchmarks and Model [70.97446870672069]
  ビデオ異常検出(VAD)はその潜在的な応用により注目されている。 Video Anomaly Retrieval (VAR)は、関連のある動画をモダリティによって実用的に検索することを目的としている。 一般的な異常データセットの上に構築されたUCFCrime-ARとXD-Violenceの2つのベンチマークを示す。
  論文  参考訳（メタデータ） (2023-07-24T06:22:37Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
  本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。 既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。 本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-03T01:33:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。