論文の概要: SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?
- arxiv url: http://arxiv.org/abs/2611.06083v1
- Date: Wed, 04 Nov 2026 07:25:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.013078
- Title: SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?
- Title（参考訳）: SleuthVLM:Omniビデオ理解にオーディオ・イン・ビデオは本当に必要か?
- Abstract要約: 本稿では,VLM上に構築されたエージェントハーネスであるSleuthVLMについて紹介する。
最大90分間のOmniベンチマークで、SleuthVLMは最高の平均精度を達成する。
SleuthVLMは一見するとモデルを打ち負かし、聴覚はボトルネックではなく、エージェント能力である。
- 参考スコア（独自算出の注目度）: 33.75778031595289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Omni models answer questions about videos by jointly processing sampled frames and audio in one turn, with progress driven largely by scaling model size and omni training data. We ask whether a model needs to hear the audio directly at all, and present SleuthVLM, an agent harness built on a VLM that never hears the audio directly: speech will be transcribed into text, and the VLM will sleuth the video on its own without any predefined workflow. On four omni benchmarks with videos up to 90 minutes, SleuthVLM achieves the best average accuracy: \textbf{75.0%}, 2.6 points above Gemini 3.8 Flash, and it also tops the Video-MME-v2 leaderboard with \textbf{77.8%}; with an open-source 27B VLM, it beats all open-source omni models. We draw three findings: SleuthVLM beats a model that glances; hearing is not the bottleneck, agentic ability is; omni understanding needs better agentic ability, not just more omni data for modality alignment. So we provide a simple but effective starting point for doing omni video understanding. Omni understanding needs better agents, not just bigger models that hear.
- Abstract（参考訳）: Omniモデルは、サンプルフレームとオーディオを1ターンで共同処理することで、ビデオに関する質問に答える。
我々は、モデルが直接音声を聴く必要があるかどうかを問うとともに、VLM上に構築されたエージェントハーネスであるSleuthVLMを提示する。
SleuthVLMは、90分までのビデオを含む4つのOmniベンチマークで、最高の平均精度を達成した: \textbf{75.0%}、Gemini 3.8 Flashより2.6ポイント高い。
SleuthVLMは一見するとモデルに勝る; 聴覚はボトルネックではなく、エージェント能力である; オムニの理解は、単なるモダリティアライメントのためのオムニデータではなく、より優れたエージェント能力を必要とする。
そこで、Omniビデオ理解のためのシンプルで効果的な出発点を提供する。
Omniの理解には優れたエージェントが必要だ。
関連論文リスト
- OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding [22.286410366442137]
既存のビデオ理解ベンチマークは、評価範囲の一部のみをカバーする。
オムニ(Omni)は、オムニモーダルなビデオグラウンドディングと理解のための総合的なベンチマークである。
論文 参考訳（メタデータ） (2026-10-13T17:54:22Z) - OmniVinci: Enhancing Architecture and Data for Omni-Modal Understanding LLM [146.029449832893]
我々はOmniVinciを紹介します。OmniVinciは強力でオープンソースのOmni-modal LLMを構築するためのイニシアチブです。
モデルアーキテクチャでは、(i)OmniAlignNetで視覚とオーディオの埋め込みのアライメントを強化する方法、(ii)視覚と音声信号の時間的アライメントをキャプチャするための時間的エンベディンググループ、(iii)オムニモーダル埋め込みにおける絶対時間的情報をエンコードするための制約付きロータリー時間エンベディングという3つの重要なイノベーションを提示する。
論文 参考訳（メタデータ） (2025-10-17T17:59:59Z) - OmniAudio: Generating Spatial Audio from 360-Degree Video [91.56286471271513]
我々は,360度ビデオから空間音声を生成する新しいタスクである360V2SAを導入する。
本稿では,空間音声データと大規模非空間データの両方を用いて,自己教師付き事前学習を利用する新しいフレームワークOmniAudioを提案する。
実験により、OmniAudioは客観的指標と主観的指標の両方で最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2025-04-21T07:21:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。