論文の概要: RVG-Bench: A Benchmark for Reasoning-Driven Audio-Visual Temporal Grounding
- arxiv url: http://arxiv.org/abs/2610.32268v1
- Date: Fri, 23 Oct 2026 07:25:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.420231
- Title: RVG-Bench: A Benchmark for Reasoning-Driven Audio-Visual Temporal Grounding
- Title（参考訳）: RVG-Bench:Reasoning-Driven Audio-Visual Temporal Groundingのベンチマーク
- Abstract要約: RVGベンチ(RVG-Bench)は、推論駆動型音声視覚時間的グラウンドのベンチマークである。
すべてのクエリは、クエリの根底にある意図を推論することで、ターゲットセグメントを識別できるように構成されている。
RVG-Benchは、1,255のビデオと、8つの推論タイプにまたがる1,890のクエリインターバルペアで構成されている。
- 参考スコア（独自算出の注目度）: 53.49326569528548
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing temporal video grounding (TVG) benchmarks primarily focus on localizing target video segments according to descriptive text queries of the visual content. However, real-world queries are more diverse and often require the model to first understand the user's intent before localization, such as finding visual evidence, identifying the cause of an event, or recalling a remembered moment, yet such queries remain largely overlooked. To mitigate this gap, we introduce RVG-Bench, a benchmark for reasoning-driven audio-visual temporal grounding, where every query is constructed such that the target segment can only be identified through reasoning about the query's underlying intent. We carefully construct the benchmark and rigorously verify its data quality to ensure models truly comprehend the audio-visual content. RVG-Bench comprises 1,255 videos and 1,890 query-interval pairs across eight reasoning types. We evaluate 22 models and find that the strongest, Qwen3.8-Omni-Flash, achieves only 49.6 mIoU. Through a series of controlled analyses, including oracle-grounding probes and test-time scaling experiments, we systematically examine where and why current models struggle, providing insights for future model development.
- Abstract（参考訳）: 既存の時間的ビデオグラウンド(TVG)ベンチマークは、主に視覚コンテンツの記述的テキストクエリに従って、対象の動画セグメントをローカライズすることに焦点を当てている。
しかし、実世界のクエリはより多様であり、視覚的証拠の発見、イベントの原因の特定、記憶された瞬間のリコールなど、ローカライゼーションの前にユーザーの意図を理解するためにモデルを必要とすることが多いが、そのようなクエリはほとんど見過ごされ続けている。
このギャップを緩和するために、RVG-Benchという推論駆動型音声-視覚的時間的グラウンドのベンチマークを導入し、クエリの根底にある意図を推論することで、ターゲットセグメントを識別できるように、全てのクエリが構築される。
我々は、ベンチマークを慎重に構築し、そのデータ品質を厳格に検証し、モデルが真にオーディオ視覚コンテンツを理解することを保証する。
RVG-Benchは、1,255のビデオと、8つの推論タイプにまたがる1,890のクエリインターバルペアで構成されている。
22のモデルを評価し,最強のQwen3.8-Omni-Flashは49.6 mIoUしか達成できないことを確認した。
オラクルグラウンドプローブやテストタイムスケーリング実験を含む一連の制御された分析を通じて、現在のモデルが苦労している場所と理由を体系的に検証し、将来のモデル開発への洞察を提供する。
関連論文リスト
- JRDB-AVR: An Active Visual Reasoning Benchmark for Embodied Agents in Real-World Environments [51.05603466006443]
具体化された視覚的推論のシナリオでは、質問に答えるために必要な証拠は時間、視点、相互作用するオブジェクトに分散する可能性がある。
我々は,構造化質問生成エンジンを用いて,既存の実世界のJRDBロボットデータから得られたベンチマークであるJRDB-AVRを紹介する。
また, 明示的な観測地上グラフに基づく世界モデルを維持する, 参照能動推論エージェントであるJRDB-AVR-Agentについても紹介する。
論文 参考訳（メタデータ） (2026-09-28T12:30:11Z) - Aligning Moments in Time using Video Queries [9.64582196551555]
ビデオからビデオまでのモーメント検索 (Vid2VidMR) は、クエリービデオを用いて、未確認のイベントやモーメントをターゲットビデオにローカライズするタスクである。
意味的コンテキストをキャプチャするトランスフォーマーモデルであるMATR(Moment Alignment TRansformer)を紹介する。
また,MATRはR@1で13.1%,mIoUで8.1%の顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2025-08-21T11:01:13Z) - VAGU & GtS: LLM-Based Benchmark and Framework for Joint Video Anomaly Grounding and Understanding [22.43740206690383]
ビデオ異常検出(VAD)は、ビデオ内の異常事象を特定し、その時間間隔を正確に決定することを目的としている。
VAGUは、異常理解と接地を統合する最初のベンチマークである。
Glance then Scrutinize (GtS) はテキストプロンプトでガイドされるトレーニング不要のフレームワークである。
また,意味的解釈可能性と時間的精度を共同で評価するJeAUG指標を提案する。
論文 参考訳（メタデータ） (2025-07-29T05:17:48Z) - MAGNET: A Multi-agent Framework for Finding Audio-Visual Needles by Reasoning over Multi-Video Haystacks [67.31276358668424]
AV-HaystacksQAという新しいタスクを導入し、クエリに応答して、異なるビデオにまたがる有能なセグメントを識別し、それらをリンクして最も有意義な回答を生成する。
AVHaystacksは、マルチビデオ検索および時間的グラウンドタスクにおけるLMMの能力を評価するために設計された3100の注釈付きQAペアからなるオーディオビジュアルベンチマークである。
提案するAVHaystackのQAタスクにおけるBLEU@4およびGPT評価スコアの基準値よりも89%と65%の相対的な改善を実現し、モデルに依存しないマルチエージェントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-08T06:34:29Z) - V-STaR: Benchmarking Video-LLMs on Video Spatio-Temporal Reasoning [40.18308199837137]
これらの問題点に対処するために,ビデオS-テンポラル推論(V-STa)ベンチマークを導入する。
我々は,ビデオLLMの時空間推論プロセスを実現するためのデータセットを構築した。
14のビデオ-LLMによる実験では、現在のビデオ-LLMと、堅牢で一貫性のある推論の必要性の間に大きなギャップが示されている。
論文 参考訳（メタデータ） (2025-03-14T15:21:44Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - Deconfounded Video Moment Retrieval with Causal Intervention [80.90604360072831]
本研究は,ビデオ中の特定のモーメントをテキストクエリに従ってローカライズすることを目的とした,ビデオモーメント検索(VMR)の課題に取り組む。
既存の手法は主に複雑な相互モーダル相互作用によるクエリとモーメントのマッチング関係をモデル化する。
本稿では,クエリとビデオコンテンツが予測に与える影響を捉えるために,構造因果モデルを構築する因果性に着想を得たVMRフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-03T01:33:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。