論文の概要: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding

• arxiv url: http://arxiv.org/abs/2610.18829v1
• Date: Tue, 13 Oct 2026 17:54:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:25:20.041722
• Title: OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding
• Title（参考訳）: OmniCompass:Omni-Modalビデオグラウンドと理解のためのホロスティックベンチマーク
• Abstract要約: 既存のビデオ理解ベンチマークは、評価範囲の一部のみをカバーする。 オムニ(Omni)は、オムニモーダルなビデオグラウンドディングと理解のための総合的なベンチマークである。
• 参考スコア（独自算出の注目度）: 22.286410366442137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid development of multimodal large language models (MLLMs), evaluating their video understanding capabilities has become increasingly important. Existing video understanding benchmarks cover only part of the evaluation dimensions, limiting systematic diagnosis of omni-modal video understanding. We introduce OmniCompass, a holistic benchmark for omni-modal video grounding and understanding. OmniCompass defines two evaluation tracks: OmniCompass-VL assesses vision-language models on tasks requiring visual evidence, while OmniCompass-AV assesses omni-modal models on tasks requiring joint audio-visual evidence. Each track includes three complementary tasks: temporal grounding (TG), spatial grounding (SG), and question answering (QA), assessing when a referenced target appears, where it is, and what happens. QA covers five perception and three reasoning categories in OmniCompass-VL, and three perception and two reasoning categories in OmniCompass-AV. OmniCompass-VL contains 820 videos and 2,460 instances across domains and three duration types: short, medium, and long. A narrative- and audio-rich subset forms OmniCompass-AV with 240 videos and 720 instances. Each instance is evaluated under two paired settings: text-only and text+image, specifying the same target through text and visual-language guidance. All instances are manually annotated with multi-round quality verification. Evaluations of 50 MLLMs show that open-source models still lag behind proprietary counterparts, particularly in audio-visual understanding. Precise temporal and spatial grounding remains challenging even for leading models, and their predictions still exhibit inconsistencies across the paired target specifications.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の急速な発展に伴い,ビデオ理解能力の評価がますます重要になっている。 既存のビデオ理解ベンチマークは、評価次元の一部のみをカバーし、オムニモーダルなビデオ理解の体系的診断を制限する。 我々はOmniCompassを紹介した。OmniCompassはOmni-modalビデオのグラウンドと理解のための総合的なベンチマークである。 OmniCompass-VLは視覚的エビデンスを必要とするタスクで視覚言語モデルを評価するが、OmniCompass-AVは共同視覚的エビデンスを必要とするタスクでオムニモーダルモデルを評価する。 各トラックは、時間的接地(TG)、空間的接地(SG)、質問応答(QA)の3つの補完的なタスクを含む。 QAはOmniCompass-VLの5つの知覚と3つの推論カテゴリ、OmniCompass-AVの3つの知覚と2つの推論カテゴリをカバーしている。 OmniCompass-VLには、ドメイン間で820の動画と2,460のインスタンスがあり、3つの期間タイプ(ショート、ミディアム、ロング)がある。 物語とオーディオに富んだサブセットは、240のビデオと720のインスタンスでOmniCompass-AVを形成する。 各インスタンスは、テキストオンリーとテキスト+イメージの2つのペア設定で評価され、テキストと視覚的なガイダンスを通じて同じターゲットを指定する。 すべてのインスタンスは、マルチラウンド品質検証で手動でアノテートされる。 50のMLLMの評価によると、オープンソースモデルはプロプライエタリなモデルよりも遅れている。 正確な時間的および空間的接地は、先行するモデルにおいても依然として困難であり、それらの予測は、ペア化された目標仕様間で矛盾を示す。

関連論文リスト

• Can MiniMax-H3 Reason About the Physical World? An Evaluation of Omni-Modal Generative Model [94.662023612079]
  MiniMax-H3は、マルチモーダルコンテキスト理解と、共有潜在フレームワークにおける共同音声視覚生成を結合する。 マルチモーダルアライメントはモデルの世界推論を改善することができるのか? この研究は、物理世界推論の4つの相補的な次元を中心に組織された総合的な評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-09-16T08:43:11Z)
• Omni-Judge: Can Omni-LLMs Serve as Human-Aligned Judges for Text-Conditioned Audio-Video Generation? [41.8825737520503]
  我々は,Omni-LLMsがテキスト・コンディショニング・オーディオ・ビデオ生成のためのヒューマンアライメント・ジャッジとして機能するかどうかを検討した。 omni-LLMは音声、ビデオ、テキストを自然に処理し、リッチな推論をサポートし、解釈可能な連鎖フィードバックを提供する。 本研究は,マルチモーダル生成のための統一評価器として,オムニ-LLMの潜在的な限界と現在の限界を強調した。
  論文  参考訳（メタデータ） (2026-02-02T04:36:23Z)
• JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation [16.067014259345743]
  我々は、データセット上で、視覚のみ、音声のみ、およびOmni-LLMを優先的に評価する。 最高性能のOmni-LLMでさえ平均精度は62.6%であり、ユニモーダルベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-12-14T17:23:21Z)
• OmniVinci: Enhancing Architecture and Data for Omni-Modal Understanding LLM [146.029449832893]
  我々はOmniVinciを紹介します。OmniVinciは強力でオープンソースのOmni-modal LLMを構築するためのイニシアチブです。 モデルアーキテクチャでは、(i)OmniAlignNetで視覚とオーディオの埋め込みのアライメントを強化する方法、(ii)視覚と音声信号の時間的アライメントをキャプチャするための時間的エンベディンググループ、(iii)オムニモーダル埋め込みにおける絶対時間的情報をエンコードするための制約付きロータリー時間エンベディングという3つの重要なイノベーションを提示する。
  論文  参考訳（メタデータ） (2025-10-17T17:59:59Z)
• Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception [97.32606786622728]
  我々は、データパイプライン、モデル、ベンチマークの観点から、Omniの詳細な認識を体系的で包括的に調査する。 ツールコールを統合したエージェントデータ生成パイプラインであるOmni-Detectiveを提案する。 Omni-Detectiveで生成されたデータに基づいて、2つのキャプションモデル:音声のみの詳細な知覚のためのオーディオ・キャプション・キャプション・モデルと、音声視覚による詳細な知覚のためのOmni-Captionerを訓練する。
  論文  参考訳（メタデータ） (2025-10-14T17:00:09Z)
• OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs [72.425061028374]
  音声・視覚の相乗的理解を評価するためのベンチマークであるOmniVideoBenchを紹介する。 OmniVideoBenchは1000の高品質なQA(QA)ペアで構成され、それぞれにステップバイステップの推論トレースが付加されている。 我々はOmniVideoBenchをリリースし、より強力でより一般化可能な推論機能を持つMLLMの開発を促進する。
  論文  参考訳（メタデータ） (2025-10-12T16:34:00Z)
• OmniEval: A Benchmark for Evaluating Omni-modal Models with Visual, Auditory, and Textual Inputs [19.214764707089884]
  オムニエバル(OmniEval)は、オムニモダリティモデルを評価するためのベンチマークである。 音声と映像の強い結合を強調する評価タスクを設計する。 いくつかのOmni-modalityモデルを用いてOmniEvalの実験を行う。
  論文  参考訳（メタデータ） (2025-06-26T02:54:24Z)
• OmnixR: Evaluating Omni-modality Language Models on Reasoning across Modalities [124.05360767047539]
  我々は、SoTA Omni-modality Language Modelsをベンチマークするために設計された評価スイートであるOmnixRを紹介する。 OLMはテキスト、ビジョン、オーディオなどの複数のモードを統合し、ユニークな課題を提示する。 実験の結果,OmnixR問題に対処するためには,複数のモダリティからの情報を統合する必要があることがわかった。
  論文  参考訳（メタデータ） (2024-10-16T04:29:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。