論文の概要: CAVE: Competence-Aware Visual Boundary Evidence Alignment for Video Temporal Grounding
- arxiv url: http://arxiv.org/abs/2608.02078v2
- Date: Mon, 10 Aug 2026 07:04:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.417188
- Title: CAVE: Competence-Aware Visual Boundary Evidence Alignment for Video Temporal Grounding
- Title（参考訳）: CAVE:ビデオ時間グラウンドのためのコンピテンスを意識した視覚境界のアライメント
- Abstract要約: 大規模視覚言語モデル(LVLM)は、強化学習(RL)によるビデオ時間グラウンド(VTG)において、かなりの性能向上を達成した。
既存の手法では、最終的な予測間隔のみを評価する結果の正当性報酬に依存しており、境界関連の視覚的証拠は十分に制約されていない。
本稿では,時間的ミスアライメントに対して,境界固有の視覚的エビデンスによる局所化最適化を付加するコンピテンス・アウェア・ビジュアルバウンダリアライメント(CAVE)を提案する。
- 参考スコア（独自算出の注目度）: 37.61837019441122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models (LVLMs) have achieved substantial performance gains in Video Temporal Grounding (VTG) through reinforcement learning (RL). However, existing methods primarily rely on outcome correctness rewards that evaluate only the final predicted intervals, leaving boundary-related visual evidence and its correspondence with timestamp predictions insufficiently constrained. In this paper, we delve into timestamp prediction and its underlying boundary-level visual evidence, showing prevalent misalignment between visual evidence and predicted timestamps across widely used benchmarks. To address this issue, we propose Competence-Aware Visual Boundary Evidence Alignment (CAVE), which augments localization optimization with boundary-specific visual evidence rewards to mitigate evidence-timestamp misalignment. Specifically, to explicitly represent the boundary-specific visual evidence, CAVE introduces boundary-specific evidence tokens and initializes their structured generation and distinct boundary semantics through a lightweight supervised warm-up. During RL, the visual boundary evidence alignment reward reinforces the visual attention of special evidence tokens within the ground-truth boundaries, thereby promoting alignment between visual evidence and temporal boundaries. Moreover, performance-aware gating for evidence supervision is designed to adaptively retain evidence guidance for poorly localized groups while reducing it once localization becomes sufficiently accurate to avoid over-constraining fine-grained boundary refinement. Extensive experiments on several public VTG benchmarks demonstrate the effectiveness of our method.
- Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は、強化学習(RL)を通じてビデオ時間グラウンド(VTG)において大きなパフォーマンス向上を達成した。
しかし、既存の手法は主に最終予測区間のみを評価する結果正当性報酬に依存しており、境界関連の視覚的証拠とタイムスタンプ予測との対応は不十分である。
本稿では, タイムスタンプ予測とその基礎となる境界レベルの視覚的証拠を探索し, 広く使用されているベンチマークにおいて, 視覚的証拠と予測されたタイムスタンプとの相違が顕著であることを示す。
この問題に対処するため、我々は、境界固有の視覚的エビデンス報酬を用いて局所化最適化を強化し、エビデンス・タイムスタンプのミスアライメントを緩和するコンピテンス・アウェア・ビジュアル境界エビデンスアライメント(CAVE)を提案する。
具体的には、境界固有の視覚的エビデンスを明確に表現するために、CAVEは境界固有のエビデンストークンを導入し、軽量な監視ウォームアップを通じて、その構造化された生成と境界セマンティクスを初期化する。
RLの間、視覚的境界証拠アライメント報酬は、接地と接地の境界内の特別な証拠トークンの視覚的注意を補強し、視覚的証拠と時間的境界との間のアライメントを促進する。
さらに, 局部化が不十分なグループに対する証拠ガイダンスを適応的に保持すると同時に, 局所化が十分に精度良くなり, きめ細かな境界修正の過度な抑制を回避するために, 証拠監督のための性能保証ゲーティングを設計する。
いくつかの公開VTGベンチマークに対する大規模な実験により,本手法の有効性が示された。
関連論文リスト
- Navigating Sparse Evidence: Agentic Visual RAG via Explicit Context Selection and Consolidation [50.92223196290564]
明示的な証拠選択と統合のための統一エージェントループを提案する。
探索中、SCoREはクエリ関連観測とソースポインタのみを保守されたテキスト台帳に保持する。
終了時には、参照された元のイメージを再ロードし、答えの視覚的証拠を統合し、論理的なシーケンスにアレンジする。
論文 参考訳（メタデータ） (2026-09-14T16:11:35Z) - VidForensics-M1: Meta-Detection Reinforcement Learning with Verifiable Temporal Grounding for AI-Generated Video Forensics [21.438987128589403]
我々は,AIが生成するビデオ検出にtextbfmeta-detectionを導入し,信頼性の高い偽造検出を可能にする。
この知見に基づいて,ペア化されたリアルタイムビデオを生成する自動データ構築パイプラインを提案する。
textbfVidForensics-M1は、検証可能な時間的証拠を利用して、堅牢で一般化可能なAI生成ビデオ検出を実現する。
論文 参考訳（メタデータ） (2026-08-11T17:58:10Z) - TimeThink: Reasoning with Time for Video LLMs [28.549802513886046]
ビデオLLMにおける時間的エビデンス発見をガイドする強化学習フレームワークであるTimeThinkを提案する。
私たちのキーとなる考え方は、時間的手がかりステップをビデオ推論の基本的な最適化プリミティブとして扱うことです。
スケーラブルなトレーニングを実現するため,時間的エビデンスセグメントを自動的に抽出したデータセットであるTimeThink-RFT-20Kを構築した。
論文 参考訳（メタデータ） (2026-07-06T13:50:15Z) - SER: Learning to Ground Video Reasoning with Semantic Evidence Rewards [8.705689021755221]
制約されたタスクとしてRLを改革するためのセマンティックエビデンス・リワード(SER)を提案する。
ピクセルレベルのアノテーションを計算する代わりに、SERはVLMを拡張したレフェリーを使用してモデル生成のエビデンスのクレームを評価する。
VLMベンチマークでは、SERは49.6%を獲得し、強いエビデンスベースラインよりも3.0ポイント向上した。
論文 参考訳（メタデータ） (2026-06-23T15:50:33Z) - SPOT-E: Test-Time Entropy Shaping with Visual Spotlights for Frozen VLMs [74.89208610190595]
本研究では,各インスタンス毎のスポットライトを軽量チューニングにより最適化し,質問条件付きスポットライトを生成するテストタイム手法であるSPOT-Eを提案する。
SPOT-Eは、一貫した利得と、視覚的腐敗下での堅牢性を改善する。
論文 参考訳（メタデータ） (2026-06-18T13:56:30Z) - Foresee-to-Ground: From Predictive Temporal Perception to Evidence-Driven Reasoning for Video Temporal Grounding [86.37002814396674]
ビデオ時間グラウンドのためのフォアシー・ツー・グラウンド(F2G)を提案する。
F2Gは予測的時間知覚とエビデンス駆動推論を統合している。
さまざまなベンチマークでグラウンド化の精度を一貫して向上させる。
論文 参考訳（メタデータ） (2026-05-21T04:03:25Z) - Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models [77.3748853516374]
視覚言語モデルのための学習不要なモデル固有のグラウンドリング手法を提案する。
モデルの次トーケン分布のエントロピーを計算し、それを視覚トークン埋め込みにバックプロパタイズしてエントロピー勾配のレバレンスマップを得る。
次に、複数のコヒーレント領域を抽出・ランク付けし、マルチエビデンスクエリをサポートし、空間エントロピー停止規則付き反復的なズーム・アンド・リグラウンド手順を導入する。
論文 参考訳（メタデータ） (2026-04-09T16:51:42Z) - VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。
これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。
GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。
その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文 参考訳（メタデータ） (2026-04-02T03:29:43Z) - Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。
LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
論文 参考訳（メタデータ） (2025-11-15T02:50:23Z) - Temporal Transductive Inference for Few-Shot Video Object Segmentation [27.140141181513425]
Few-shot Object segmentation (FS-VOS) は、初期訓練中に見えないクラスのラベル付き例を用いて、ビデオフレームのセグメンテーションを目的としている。
我々のアプローチの鍵は、グローバルな時間的制約とローカルな時間的制約の両方を使用することである。
経験的に、我々のモデルは、YouTube-VIS上の組合間の平均交点を2.8%上回る、最先端のメタラーニングアプローチより優れている。
論文 参考訳（メタデータ） (2022-03-27T14:08:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。