論文の概要: Video-HolmesV2: Can MLLMs Reason with Spatio-Temporal Audio-Visual Evidence in Long Videos?
- arxiv url: http://arxiv.org/abs/2609.17248v1
- Date: Tue, 15 Sep 2026 14:30:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.566421
- Title: Video-HolmesV2: Can MLLMs Reason with Spatio-Temporal Audio-Visual Evidence in Long Videos?
- Title（参考訳）: Video-HolmesV2:MLLMsは長時間ビデオにおける時空間オーディオ-ビジュアルエビデンスに対応できるか?
- Abstract要約: 本稿では,Deep Audio-Visual Couplingの新しいベンチマークであるVideo-Holmes-V2を紹介する。
Evidence-Based Evaluation(エビデンス・ベース・アセスメント)を施行し、正確な時間的オーディオ視覚的証拠で答えを正当化するモデルを必要とする。
提案手法は, 長い音質を緩和するため, 高値推論キューを蒸留する。
- 参考スコア（独自算出の注目度）: 22.544360578469156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models have demonstrated impressive video understanding, yet their ability to reason over long-form narratives is often masked by visual-centric evaluations and inefficient context processing. Existing benchmarks over-rely on visual heuristics while marginalizing auditory cues, effectively reducing models to "silent observers" that bypass genuine cross-modal reasoning. Moreover, standard dense sampling creates an evidence-context trade-off: increasing frames to capture evidence inevitably leads to attention distraction and token explosion. To bridge these gaps, we present Video-HolmesV2, a novel benchmark designed for Deep Audio-Visual Coupling. Unlike previous works, it enforces an Evidence-Based Evaluation, requiring models to justify answers with precise spatio-temporal audio-visual evidence, thereby reducing confounding effects of guessing and hallucinated evidence. To support this, we introduce: (1) a Multi-Model Cross-Verification pipeline to ensure task rigor; (2) a Spatio-temporal Evidence-Aware Metric for fine-grained calibration. Furthermore, we propose an Audio-Text Guided Token Compression framework. By fusing task intent with auditory anchors, our method distills high-value reasoning cues to mitigate long-context noise. In our evaluation, even strong proprietary models achieve below 60% accuracy, while our approach outperforms comparable open-source omni-models.
- Abstract（参考訳）: マルチモーダル大言語モデルは印象的なビデオ理解を実証しているが、長文の物語を推論する能力は視覚中心の評価や非効率な文脈処理によって隠蔽されることが多い。
既存のベンチマークは視覚的ヒューリスティックスを過度に重視し、聴覚的手がかりを疎外し、真のクロスモーダル推論をバイパスする「サイレントな観察者」にモデルを効果的に還元する。
さらに、標準的な高密度サンプリングはエビデンス・コンテキストのトレードオフを生み出す。
これらのギャップを埋めるために、Deep Audio-Visual Coupling用に設計された新しいベンチマークであるVideo-HolmesV2を紹介する。
従来の作品とは異なり、Evidence-Based Evaluation(エビデンス・ベース・アセスメント)を強制し、正確な時空間的オーディオ視覚的エビデンスで答えを正当化することを要求するため、推測と幻覚的エビデンスによる相反する効果を減少させる。
これをサポートするために,(1)タスクの厳密性を確保するためのマルチモデルクロス検証パイプライン,(2)細粒度キャリブレーションのための時空間エビデンス対応メトリクスを提案する。
さらに,音声テキストガイド方式のToken Compressionフレームワークを提案する。
本手法は,タスク意図を聴覚アンカーと融合させることで,長文雑音を軽減するために高価値推論手法を蒸留する。
我々の評価では、強力なプロプライエタリモデルでさえ60%以下の精度を達成する一方、我々のアプローチは同等のオープンソースオムニモデルより優れている。
関連論文リスト
- A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models [64.68800440221138]
大規模音声言語モデル(LALM)は、様々な音声理解タスクにおいて高いパフォーマンスを達成するが、時間的推論に苦慮する。
メカニスティック解析のために設計された3つの基礎的タスクに対して,1,657問のベンチマークを導入する。
拡張性に対する注意の重み付けを比較すると、音声トークン間での注意の再分配は、音声の注意を増大させるよりも効果的であることがわかった。
論文 参考訳（メタデータ） (2026-06-16T01:57:56Z) - When Vision Speaks for Sound [31.08404410801052]
ビデオ対応MLLMの急速な進歩にもかかわらず、ビデオにおける明らかな音声理解はビジョン駆動であることが多い。
この問題は、最先端のオープンソースオムニモデルと、GoogleやOpenAIといったプロバイダによるクローズドソースモデルの両方にまたがっている。
我々は、この障害モードを、モデルが(頻繁に)オーディオグラウンドに現れるが、実際にオーディオとビジュアルストリームが本当に一致しているかどうかを検証せずに、視覚-音響相関を利用する、オーディオ-ビジュアル・クリーバー・ハンス効果として特徴付けている。
論文 参考訳（メタデータ） (2026-05-13T05:00:19Z) - ReasonAudio: A Benchmark for Evaluating Reasoning Beyond Matching in Text-Audio Retrieval [9.400944614656735]
ReasonAudioはText-Audio Retrievalの最初の推論集約型ベンチマークである。
1000のクエリと10,000の合成オーディオクリップからなり、ネゲーション、オーダー、オーバーラップ、デュレーション、ミックスの5つの基本的な推論タスクにまたがる。
我々の10種類の最先端モデルに対する評価では、以下の結果が示される: すべてのモデルは、推論集約的な音声検索に苦慮する。
論文 参考訳（メタデータ） (2026-05-05T04:44:51Z) - Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling [59.97930201616015]
本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。
共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。
ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
論文 参考訳（メタデータ） (2026-04-26T07:48:47Z) - Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-Visual Language Models [57.29797562658234]
オーディオ・ビジュアル言語モデル(AVLM)によるクロスモーダル幻覚のボトルネック
本稿では、この深い視覚的優位性に対応するために、オーディオコントラスト優先最適化(ACPO)を提案する。
ACPOは、音響事実としての視覚的記述をペナライズする出力コントラスト目的と、真の聴覚信号に不変な生成を明示的にペナライズするためにオーディオトラックを交換する入力コントラスト目的を導入する。
論文 参考訳（メタデータ） (2026-04-15T17:51:28Z) - VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。
これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。
GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。
その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文 参考訳（メタデータ） (2026-04-02T03:29:43Z) - Video-R2: Reinforcing Consistent and Grounded Reasoning in Multimodal Language Models [56.851611990473174]
動的ビジュアルコンテンツに対する推論は、大きな言語モデルにとって依然として中心的な課題である。
本稿では,時間的精度と推論一貫性を両立させる強化学習手法を提案する。
結果のモデルであるVideo R2は、複数のベンチマークでTAC、VAS、精度を一貫して向上させる。
論文 参考訳（メタデータ） (2025-11-28T18:59:58Z) - Detecting and Mitigating Insertion Hallucination in Video-to-Audio Generation [29.443084496227026]
Video-to-Audio世代は、ビデオのための自動サウンドに顕著な進歩を遂げた。
我々は、この現象を挿入幻覚と呼び、データセットバイアスによって引き起こされるシステム的リスクとみなす。
この問題の有病率と重症度を定量化する2つの新しい指標を導入する。
IHを緩和する新しいトレーニングフリー推論時間法であるPosterior Feature Correctionを提案する。
論文 参考訳（メタデータ） (2025-10-09T11:08:07Z) - AURA: A Fine-Grained Benchmark and Decomposed Metric for Audio-Visual Reasoning [3.949628618389608]
AURAは、Audio-Visual Large Language Models (AV-LLMs) とOmni-Modal Language Models (OLMs) のクロスモーダル推論能力を評価するためのベンチマークである。
AURAには、因果性、音色とピッチ、テンポとAV同期、未解決性、暗黙の気遣い、スキルプロファイリングといった6つの困難な認知領域に関する質問が含まれている。
本稿では,理性評価のための頑健なツールの欠如に対処する新しい計量AuraScoreを提案する。
論文 参考訳（メタデータ） (2025-08-10T20:06:42Z) - Weakly-Supervised Action Detection Guided by Audio Narration [50.4318060593995]
ナレーション管理から学習し,RGB,モーションフロー,環境音などのマルチモーダル特徴を利用するモデルを提案する。
実験の結果,ノイズの多い音声ナレーションは優れた行動検出モデルを学ぶのに十分であることがわかった。
論文 参考訳（メタデータ） (2022-05-12T06:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。