論文の概要: OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning
- arxiv url: http://arxiv.org/abs/2610.12458v1
- Date: Thu, 08 Oct 2026 17:59:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:54.267023
- Title: OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning
- Title（参考訳）: OmniCapBench: 細粒度オーディオ・ビジュアル・キャプションのための深層構造評価フレームワーク
- Abstract要約: マルチモーダルな大言語モデル(MLLM)は、連続的な音声-視覚的推論へと急速に進化している。
現在のベンチマークでは、オールキャプションスコアはローカライゼーションなしでカバレッジを提供し、ローカライゼーションはカバーなしでローカライゼーションを提供する。
OmniCapBenchは,音声-視覚的キャプション評価を深層構造診断フレームワークとして再設計するベンチマークである。
- 参考スコア（独自算出の注目度）: 20.128436282784563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal large language models (MLLMs) are rapidly evolving toward continuous audio--visual reasoning, creating an urgent need for evaluations that expose their capability limits. Audio--visual captioning is an ideal diagnostic task, yet current benchmarks face a coupled trade-off: whole-caption scores provide coverage without localization, local probes provide localization without coverage, and unconstrained LLM judges introduce instability. We introduce OmniCapBench (Omni-Video Caption Benchmark), a benchmark that reframes audio--visual caption evaluation as a deep-structured diagnostic framework. OmniCapBench shifts the prediction target from free-form text to sets of atomic, verifiable evaluation units across three tracks: entity references, visual shots, and audio events, enabling reliable scoring with deterministic constraint checks and localized LLM-based semantic comparisons. With 786 densely annotated videos, OmniCapBench effectively distinguishes MLLM perception errors, including temporal grounding failures, identity drift, cross-modal misalignment, and hallucinated descriptions. Evaluating frontier MLLMs reveals strong local perception but weak long-horizon audio--visual reasoning, particularly in identity drift and cross-modal misalignment, providing a fine-grained roadmap for omnimodal development.
- Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)は、連続的な音声-視覚的推論に向けて急速に進化し、その能力限界を明らかにする評価に対する緊急の要求を生み出している。オーディオ-視覚的キャプションは理想的な診断課題であるが、現在のベンチマークは共通のトレードオフに直面している。全キャプションスコアは、ローカライゼーションなしでカバレッジを提供し、ローカルプローブは、カバレッジなしでローカライゼーションを提供し、制約のないLCM判断は不安定を導入する。
OmniCapBench (Omni-Video Caption Benchmark) は,音声の字幕評価を深層構造診断フレームワークとして再設計するベンチマークである。
OmniCapBenchは、予測対象を自由形式のテキストから、エンティティ参照、ビジュアルショット、オーディオイベントの3つのトラックにわたる検証可能な評価ユニットのセットにシフトし、決定論的制約チェックとローカライズされたLLMベースのセマンティック比較による信頼性の高いスコアリングを可能にする。
OmniCapBench は 786 の濃密な注釈付きビデオで、時間的接地障害、アイデンティティドリフト、相互修正、幻覚的記述を含むMLLM の認識エラーを効果的に識別する。
フロンティアMLLMの評価は、特にアイデンティティドリフトとクロスモーダルなミスアライメントにおいて、強い局所的認識を示すが、ロングホライゾンな音声-視覚的推論は弱い。
関連論文リスト
- What Did the MLLM Hear? Token-Level Spectro-Temporal Grounding for Audio MLLM Explainability [6.338357793019971]
音声MLLMによって生成されたキャプションのトークンレベルの時間的グラウンド化のための,最初のポストホックフレームワークであるSTAGを紹介した。
STAGは、符号化された音声表現のターゲットトークン固有の語彙投影を用いて、生成されたトークンの時間的サポートを推定する。
論文 参考訳（メタデータ） (2026-09-11T10:08:29Z) - JASTIN: Aligning LLMs for Zero-Shot Audio and Speech Evaluation via Natural Language Instructions [66.71387365429062]
JASTINは命令駆動型オーディオ評価フレームワークである。
自己指示型推論タスクとして音声アセスメントを定式化する。
音声、音、音楽、ドメイン外評価タスクでMLLMを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-06T05:18:42Z) - OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video [59.391671069156274]
本稿では,階層的なシーン・バイ・シーンのスクリプトを生成することを目的とした,新しいV2Sタスクを提案する。
長文の物語理解に適した8Bパラメータ omni-modal (audio-visual) 言語モデルであるOmniScriptを提案する。
論文 参考訳（メタデータ） (2026-04-13T07:19:27Z) - OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs [72.425061028374]
音声・視覚の相乗的理解を評価するためのベンチマークであるOmniVideoBenchを紹介する。
OmniVideoBenchは1000の高品質なQA(QA)ペアで構成され、それぞれにステップバイステップの推論トレースが付加されている。
我々はOmniVideoBenchをリリースし、より強力でより一般化可能な推論機能を持つMLLMの開発を促進する。
論文 参考訳（メタデータ） (2025-10-12T16:34:00Z) - AudioCodecBench: A Comprehensive Benchmark for Audio Codec Evaluation [16.047087043580053]
MLLM(Multimodal Large Language Models)は、音声や音楽に広く応用されている。
意味のみのテキストトークンとは異なり、音声トークンはグローバルな意味的コンテンツをキャプチャし、きめ細かい音響的詳細を保存する必要がある。
本稿では,意味的および音響的トークンの適切な定義を提供し,体系的な評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-02T14:15:22Z) - Detect Any Sound: Open-Vocabulary Sound Event Detection with Multi-Modal Queries [18.147981850263708]
マルチモーダルクエリによってガイドされるオープン語彙SEDのための問合せベースのフレームワークを提案する。
DASMはSEDをフレームレベルの検索タスクとして定式化し、音声機能はテキストやオーディオプロンプトからのクエリベクトルと一致している。
DASMは、局所化精度と新しいクラスへの一般化のバランスを効果的に保ち、オープン語彙設定においてCLAPベースの手法より優れている。
論文 参考訳（メタデータ） (2025-07-22T08:24:01Z) - Context-aware TFL: A Universal Context-aware Contrastive Learning Framework for Temporal Forgery Localization [60.73623588349311]
本研究では,時間的フォージェリーローカライゼーションのための共通文脈対応コントラスト学習フレームワーク (UniCaCLF) を提案する。
提案手法は教師付きコントラスト学習を利用して,異常検出による偽造瞬間の検出と同定を行う。
実物と偽物との間における特徴の識別可能性の限界をさらに押し上げるために、効率的な文脈対応コントラスト符号化を導入する。
論文 参考訳（メタデータ） (2025-06-10T06:40:43Z) - Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage [50.84150600032693]
MLLM(Multimodal large language model)は、非常に詳細なキャプションを生成するのに優れるが、幻覚を引き起こすことが多い。
我々は,LLM-MLLM協調を利用して与えられたキャプションを補正するマルチエージェント手法を提案する。
提案手法は, キャプションの精度を向上し, GPT-4Vによるキャプションの精度を向上する。
論文 参考訳（メタデータ） (2024-12-20T01:37:22Z) - MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。
既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。
この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。
本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
論文 参考訳（メタデータ） (2024-06-25T18:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。