論文の概要: Local Evidence, Global Failure: Diagnosing Speech-Vision Temporal Composition in Audio-Visual Language Models

• arxiv url: http://arxiv.org/abs/2610.25352v1
• Date: Sun, 18 Oct 2026 15:49:52 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:13:41.943577
• Title: Local Evidence, Global Failure: Diagnosing Speech-Vision Temporal Composition in Audio-Visual Language Models
• Title（参考訳）: 局所的エビデンスとグローバルな失敗:音声・視覚言語モデルにおける音声ビジョン時間構成の診断
• Abstract要約: TED(Temporal Evidence Decomposition)は、局所的な視覚的検証と音声相対的アグリゲーションを分離する、トレーニング不要な診断フレームワークである。 TEDは、テンポラルアライメントとフォアキャスティングのための書き起こし、あるいはクロスモーダルなテンポラルバインディングの候補に答える、オーディオフリーウィンドウをクエリする。 発見は、局所的に回復可能な証拠とフルビデオ決定を成功させ、ナレーション内容の明確な分離、発話タイミング、タイムインデックス化された視覚的証拠を動機付けている。
• 参考スコア（独自算出の注目度）: 1.2744523252873352
• License:
• Abstract: Audio-visual large language models (AV-LLMs) can fail at full-video speech-vision decisions even when useful visual evidence is locally recoverable. We introduce Temporal Evidence Decomposition (TED), a training-free diagnostic framework that separates local visual verification from speech-relative aggregation. Automatic speech recognition supplies a transcript and utterance interval. TED queries audio-free windows with the transcript for Temporal Alignment and Forecasting, or answer candidates for Cross-Modal Temporal Binding, then aggregates evidence relative to that interval. Across four frozen AV-LLMs on SVHalluc, Temporal Forecasting accuracy rises from 29.3-33.7% under full-video questioning to 79.3-82.2% with TED. Query replacement reduces recovery; the observed anchor remains beneficial when temporal-region availability is held fixed. Physical-isolation and timing-shortcut controls test alternative explanations. The findings distinguish locally recoverable evidence from successful full-video decisions, motivating explicit separation of narration content, utterance timing, and time-indexed visual evidence.
• Abstract（参考訳）: 音声-視覚的大言語モデル(AV-LLM)は、有効な視覚的証拠が局所的に回復可能であっても、フルビデオの音声ビジョン決定に失敗する可能性がある。 本稿では、局所的な視覚的検証と音声相対的集計を分離する訓練不要な診断フレームワークである時間的エビデンス分解(TED)を紹介する。 音声認識は、書き起こしと発話間隔を提供する。 TEDはテンポラルアライメントとフォアキャスティングの書き起こしで音声のないウィンドウを検索し、クロスモーダルなテンポラルバインディングの候補に答え、そのインターバルに対する証拠を集計する。 SVHalluc上の4つの凍結されたAV-LLMのうち、テンポラル予測の精度はフルビデオ質問で29.3-33.7%からTEDで79.3-82.2%に上昇した。 クエリ置換はリカバリを減少させる。時間領域のアベイラビリティが固定された場合、観測されたアンカーは有用である。 物理的アイソレーションとタイミングショートカット制御は、代替説明をテストする。 その結果、局所的に回復可能な証拠とフルビデオの判断を区別し、ナレーション内容の明確な分離、発話タイミング、タイムインデクシングによる視覚的証拠を動機づけた。

関連論文リスト

• Think Visually Across Space and Time: Grounded Reasoning for Video Segmentation [73.45102753524989]
  Video Reasoning (VRS) は暗黙的に記述されたターゲットを特定し、そのピクセルレベルのマスク軌道を予測するモデルを必要とする。 我々は,クエリ関連観測を推論チェーンに整理するビデオCoTの時間的基盤形式として,ビデオプリミティブのテキストのみのチェイン(TCoVP)を導入する。
  論文  参考訳（メタデータ） (2026-10-18T07:54:07Z)
• Learning Temporal Evidence Selection for Video Anomaly Understanding [11.543429175824905]
  ビデオ異常理解(VAU)は、長いビデオにおける異常事象の言語レベルでの解釈を生成することを目的としている。 既存のVAUパイプラインは、異常中心または予め定義された時間サンプリング戦略に依存している。 VAU生成の目的を通じて時間的視覚的証拠を選択することを学習する意味条件付きテンポラルサンプリングQ-Formerを導入する。
  論文  参考訳（メタデータ） (2026-10-12T07:26:31Z)
• When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
  WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。 WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。 我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
  論文  参考訳（メタデータ） (2026-09-29T12:13:56Z)
• SyncRA: Learning Temporal Correspondence in Omni-Modal Models [4.652935587195116]
  音声と視覚の時間的対応を強化する軽量なSyncRAを提案する。 5つの公開ビデオベンチマークで、異なるサイズとアーキテクチャにまたがる4つのオープンオムニモーダルモデルに対してSyncRAを評価した。
  論文  参考訳（メタデータ） (2026-09-28T05:40:09Z)
• Moment-Video: Diagnosing Temporal Fidelity of Video MLLMs on Momentary Visual Events [52.031070006859544]
  ビデオマルチモーダル大言語モデル(MLLM)は、一般的なビデオ理解と長大なビデオ理解を急速に進歩させてきたが、短い回答クリティカルな視覚的証拠を保存できる能力はいまだに未発見のままである。 本稿では,映像MLLMの時間的忠実度を時間的視覚的事象理解によって診断するためのベンチマークであるMoment-Videoを紹介する。
  論文  参考訳（メタデータ） (2026-06-01T17:32:20Z)
• On the Consistency of Video Large Language Models in Temporal Comprehension [57.985769348320616]
  ビデオ大言語モデル(Video-LLMs)は、時間的に言語クエリを解析し、ビデオモーメントを検索することができる。 予測整合性 - 時間的根拠の堅牢性と信頼性を示す重要な指標である。
  論文  参考訳（メタデータ） (2024-11-20T00:47:17Z)
• Temporal Reasoning Transfer from Text to Video [51.68487044397409]
  ビデオ大言語モデル(ビデオLLM)は、時間的変化の追跡と時間的関係の推論に苦労する。 テキストからビデオ領域への時間的推論能力を伝達するために、テキスト時間的推論転送(T3)を導入する。 LongVA-7Bモデルは、包括的なビデオベンチマーク上での競合性能を実現する。
  論文  参考訳（メタデータ） (2024-10-08T16:10:29Z)
• Augmenting Automatic Speech Recognition Models with Disfluency Detection [12.45703869323415]
  音声の拡散は、会話や自発的な発話でよく起こる。 現在の研究は、主に、音声の正確な位置と持続時間を見越して、書き起こし中の不一致を検出することに焦点を当てている。 我々は,任意のASRモデルを拡張し,開集合不一致を検出するための推論のみのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-16T11:13:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。