論文の概要: EvaOmni: An Evidence-Grounded Benchmark for Audio-Visual Reasoning
- arxiv url: http://arxiv.org/abs/2610.28444v1
- Date: Tue, 20 Oct 2026 16:03:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.912786
- Title: EvaOmni: An Evidence-Grounded Benchmark for Audio-Visual Reasoning
- Title（参考訳）: EvaOmni: オーディオ-ビジュアル推論のためのエビデンスを取り巻くベンチマーク
- Abstract要約: エヴァ・オムニ(Eva Omni)は、392の動画と1,027の純粋に人間に注釈をつけた質問応答ペアを含むエビデンスグラウンドのベンチマークである。
モデルがどの程度の注釈付きエビデンスを識別するかを測定するためのCoverage Grounded Score(C.G.)と、いずれのモードにおいても低時間局所化をペナルティ化するBottleneck Grounded Score(B.G.)を提案する。
- 参考スコア（独自算出の注目度）: 37.92440751365491
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Omni LLMs can naturally locate key audio and visual evidence and integrate information across modalities for audiovisual reasoning. Existing audio-visual reasoning benchmarks that mainly rely on multiple-choice questions usually score models solely based on answer correctness, making it difficult to assess whether a model truly forms a reasoning chain from evidence to the correct answer. In addition, textual or unimodal shortcuts may allow models to answer correctly without analyzing the necessary audio-visual evidence, further weakening the reliability of evaluation benchmarks. To address these issues, we introduce EvaOmni, an evidence-grounded benchmark containing 392 videos and 1,027 purely human-annotated question-answer pairs, covering 15 capabilities and three levels: retrieval and localization, basic understanding, and complex reasoning. We design a series of rigorous annotation procedures in which experts annotate audio and visual evidence and construct video-based distractors; humans review whether questions meet strict inspection criteria, and finally models filter textual and unimodal shortcuts. Beyond high-quality question-answer pairs, we require models to simultaneously return the answer and supporting evidence intervals in order to evaluate the complete reasoning chain. We propose the Coverage Grounded Score (C.G.) to measure how much annotated evidence a model identifies, and the Bottleneck Grounded Score (B.G.) to penalize poor temporal localization in either modality; both are incorporated into answer correctness. Across 7 open-weight and 17 proprietary Omni LLMs, Gemini3.7-Flash achieved the highest overall accuracy (79.4%), C.G. (70.8%), and B.G. (35.1%). At Level 3, it reached 79.1% accuracy, but its B.G. was only 12.3%. These results show that even the most advanced models still have room for development in grounded audio-visual reasoning.
- Abstract（参考訳）: Omni LLMは、自然に重要なオーディオおよび視覚的証拠を見つけ出し、オーディオ視覚的推論のためのモダリティにまたがる情報を統合することができる。
既存の音声-視覚的推論ベンチマークは、主に複数選択の質問に依存しており、答えの正しさのみに基づいてモデルを評価するため、モデルが真に推論連鎖を形成しているかどうかを証拠から正解まで評価することは困難である。
さらに、テキストや単文のショートカットでは、必要なオーディオ視覚的証拠を分析せずにモデルが正しく答えられるようになり、評価ベンチマークの信頼性が低下する可能性がある。
これらの問題に対処するため、EvaOmniは392の動画と1,027の純粋に人間に注釈付けされた質問応答ペアを含むエビデンス基底ベンチマークを導入し、15の能力と3つのレベル(検索とローカライゼーション、基本的な理解、複雑な推論)をカバーした。
我々は、専門家が音声および視覚的証拠を注釈付けし、ビデオベースのインタプリタを構築する一連の厳密なアノテーション手順を設計し、質問が厳格な検査基準を満たしているかどうかを人間がレビューし、最終的にテキストとアンモダルのショートカットをモデル化する。
高品質な質問応答対の他に、完全な推論連鎖を評価するために、答えを同時に返却し、エビデンス間隔をサポートするモデルが必要である。
モデルがどの程度の注釈付きエビデンスを識別するかを測定するためのCoverage Grounded Score(C.G.)と、いずれのモードにおいても低時間局所化をペナルティ化するBottleneck Grounded Score(B.G.)を提案する。
7つのオープンウェイトと17のプロプライエタリなOmni LLMでは、Gemini3.7-Flashが79.4%、C.G.が70.8%、B.G.が35.1%だった。
レベル3では79.1%の精度に達したが、B.G.はわずか12.3%だった。
これらの結果は、最も先進的なモデルでさえも、接地型音声視覚推論の開発の余地があることを示している。
関連論文リスト
- ANCHOR: Audio-Visually Grounded Chain-of-Thought Reasoning Benchmark [9.766564977291873]
本稿では,マルチモーダル推論における接地条件アライメントのベンチマークおよび評価フレームワークであるANCHORを紹介する。
ANCHORは2,319の動画と8,272の質問応答対で構成されており、構造化された推論トレース、時間的証拠、空間的境界ボックス、健全なオーディオキューで構成されている。
直接的空間的および時間的接地測定により,回答の正しさ,幻覚,論理的発散,簡潔さを測定した。
論文 参考訳（メタデータ） (2026-10-16T05:38:11Z) - OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning [25.99088742292375]
OmniReasoningBenchは、オーディオおよび視覚的証拠が不可欠であるベンチマークである。
我々はまた、データエンジンOmniQAと自己蒸留法Modality-Factored Self-Distillation (MFSD)を開発した。
トレーニングデータと学習法により,OmniVideoBenchは50.0%,OmniReasoningBenchは42.5%となるOmniReasoning-30B-A3Bが得られた。
論文 参考訳（メタデータ） (2026-09-30T10:51:24Z) - Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning [57.5472764796581]
本稿では,自己進化型報酬で音声推論を監督する強化学習フレームワークであるAudioRubricsを紹介する。
AudioRubricsは、サンプルごとのルーブリックを生波形から合成し、モデル自身のロールアウト、再生、グループごとのリウェイト基準で条件付けする。
解析の結果,ジェネレータと判定器の能力でゲインがスケールし,AudioRubricsは安定な推論長に収束し,縮退と成長の両面を回避できることがわかった。
論文 参考訳（メタデータ） (2026-08-03T19:46:13Z) - A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models [64.68800440221138]
大規模音声言語モデル(LALM)は、様々な音声理解タスクにおいて高いパフォーマンスを達成するが、時間的推論に苦慮する。
メカニスティック解析のために設計された3つの基礎的タスクに対して,1,657問のベンチマークを導入する。
拡張性に対する注意の重み付けを比較すると、音声トークン間での注意の再分配は、音声の注意を増大させるよりも効果的であることがわかった。
論文 参考訳（メタデータ） (2026-06-16T01:57:56Z) - AUDITA: A New Dataset to Audit Humans vs. AI Skill at Audio QA [7.0864879068510005]
AUDITAは、表面レベルの音響認識以上の音響推論を厳格に評価する大規模な実世界のベンチマークである。
人間の平均精度32.13%は、両方の課題を示しながら、音声の有意義な理解を示している。
最先端の音声質問応答モデルは性能が悪く、平均精度は8.86%以下である。
論文 参考訳（メタデータ） (2026-04-23T15:22:36Z) - VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification [73.02304272829785]
VideoBenchは、証拠を厳格に検証する長ビデオ応答のための階層的なベンチマークだ。
これは、13のドメインに500の注釈付き質問を手動で記述し、時間間隔と空間境界ボックスを組み合わせて証拠とする。
GeminiPro-3-Proでさえ、標準のエンドツーエンドのQA設定で17%未満の質問に正しく答えている。
その結果,表面レベルでの回答の正しさと真正な証拠に基づく推論との間に大きなギャップが生じた。
論文 参考訳（メタデータ） (2026-04-02T03:29:43Z) - MDAR: A Multi-scene Dynamic Audio Reasoning Benchmark [64.89810922949984]
本稿では,複雑なマルチシーン,動的に進化する音声推論タスクのモデルを評価するためのベンチマークMDARを紹介する。
MDARは、様々なオーディオクリップにリンクされた3000の慎重にキュレートされた質問応答ペアから構成される。
MDAR上で26の最先端オーディオ言語モデルをベンチマークし、それらが複雑な推論タスクに制限があることを観察する。
論文 参考訳（メタデータ） (2025-09-26T15:12:46Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - AURA: A Fine-Grained Benchmark and Decomposed Metric for Audio-Visual Reasoning [3.949628618389608]
AURAは、Audio-Visual Large Language Models (AV-LLMs) とOmni-Modal Language Models (OLMs) のクロスモーダル推論能力を評価するためのベンチマークである。
AURAには、因果性、音色とピッチ、テンポとAV同期、未解決性、暗黙の気遣い、スキルプロファイリングといった6つの困難な認知領域に関する質問が含まれている。
本稿では,理性評価のための頑健なツールの欠如に対処する新しい計量AuraScoreを提案する。
論文 参考訳（メタデータ） (2025-08-10T20:06:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。