論文の概要: OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning
- arxiv url: http://arxiv.org/abs/2606.08572v1
- Date: Sun, 07 Jun 2026 11:03:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.27089
- Title: OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning
- Title（参考訳）: OmniCap-IF:Omni-Videoキャプションの信頼性のベンチマークとインストラクションの改善
- Abstract要約: OmniCap-IFは,オムニモダルキャプションにおける命令追従能力の評価に特化して設計された最初のベンチマークである。
私たちのベンチマークでは、純粋な視覚的、純粋なオーディオ、およびオーディオ視覚的モダリティにまたがる50の異なる制約タイプを網羅しています。
解析の結果,複雑性の増大はモデルの推論能力を直接劣化させることを示した。
- 参考スコア（独自算出の注目度）: 35.142940433741344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Omni-modal Large Language Models (OLLMs) have demonstrated impressive capabilities in jointly processing audio and visual streams, their ability to strictly adhere to complex, multi-faceted user instructions remains largely unexplored. Existing benchmarks primarily focus on holistic video understanding or text-only instruction following, failing to capture the intricate interplay between modalities and user constraints. To bridge this gap, we introduce OmniCap-IF, the first comprehensive benchmark specifically designed to evaluate instruction-following capabilities in omni-modal captioning. OmniCap-IF incorporates a systematic framework that assesses captions on two dimensions: format correctness and content correctness. Our benchmark encompasses 50 distinct constraint types across pure visual, pure audio, and audio-visual modalities, while integrating Temporal Grounding to assess spatio-temporal precision. Extensive evaluations of prominent models on 1,920 high-quality samples reveal significant performance disparities. Furthermore, our analysis uncovers a critical "format-content tradeoff", demonstrating that increasing formatting complexity directly degrades models' omni-modal reasoning abilities. Finally, to advance the field, we curate a 54K instruction-tuning dataset, OmniCap-IF-54K and present OmniCaptioner-IF, which achieves notable improvements in both complex instruction adherence and general omni-modal captioning performance.
- Abstract（参考訳）: Omni-modal Large Language Models (OLLM) は、オーディオとビジュアルストリームを共同で処理する素晴らしい能力を示しているが、複雑な多面的ユーザ命令に厳密に準拠する能力は、まだ明らかにされていない。
既存のベンチマークは主に全体論的ビデオ理解やテキストのみの指示に重点を置いており、モダリティとユーザの制約の間の複雑な相互作用を捉えていない。
このギャップを埋めるために,OmniCap-IFを導入した。OmniCap-IFは,Omni-modalキャプションにおける命令追従能力を評価するために設計された,最初の総合的なベンチマークである。
OmniCap-IFには、フォーマットの正しさとコンテンツの正しさの2つの側面でキャプションを評価する、体系的なフレームワークが組み込まれている。
本ベンチマークでは、時間的時間的精度を評価するために、時間的グラウンドを統合しながら、純粋な視覚的、純粋オーディオ、音声視覚的モダリティにまたがる50の異なる制約タイプを網羅する。
1,920個の高品位サンプルの顕著な評価結果から,顕著な性能格差が示唆された。
さらに、我々の分析では、フォーマットの複雑さが増すにつれて、モデルの全モード推論能力が低下することを示す、重要な「フォーマット・コンテントのトレードオフ」を明らかにした。
最後に,54K の命令調整データセット OmniCap-IF-54K と現在の OmniCaptioner-IF をキュレートし,複雑な命令順守と一般の Omni-modal キャプション性能の両面で顕著な改善を実現した。
関連論文リスト
- Towards Universal Video MLLMs with Attribute-Structured and Quality-Verified Instructions [74.27249614046309]
ASID-1Mは100万の構造化された微細なオーディオ視覚的指示アノテーションのオープンソースコレクションである。
ASID-Verifyは、アノテーションのためのスケーラブルなデータキュレーションパイプラインである。
ASID-CaptionerはSupervised Fine-Tuningを通じてトレーニングされたビデオ理解モデルである。
論文 参考訳（メタデータ） (2026-02-13T15:20:54Z) - JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation [16.067014259345743]
我々は、データセット上で、視覚のみ、音声のみ、およびOmni-LLMを優先的に評価する。
最高性能のOmni-LLMでさえ平均精度は62.6%であり、ユニモーダルベースラインを上回っている。
論文 参考訳（メタデータ） (2025-12-14T17:23:21Z) - IF-VidCap: Can Video Caption Models Follow Instructions? [44.2412700621584]
制御可能なビデオキャプションを評価するための新しいベンチマークであるIF-VidCapを紹介する。
IF-VidCapには、フォーマットの正しさとコンテンツの正しさの2つの側面でキャプションを評価する、体系的なフレームワークが組み込まれている。
論文 参考訳（メタデータ） (2025-10-21T15:25:08Z) - Omni-Captioner: Data Pipeline, Models, and Benchmark for Omni Detailed Perception [97.32606786622728]
我々は、データパイプライン、モデル、ベンチマークの観点から、Omniの詳細な認識を体系的で包括的に調査する。
ツールコールを統合したエージェントデータ生成パイプラインであるOmni-Detectiveを提案する。
Omni-Detectiveで生成されたデータに基づいて、2つのキャプションモデル:音声のみの詳細な知覚のためのオーディオ・キャプション・キャプション・モデルと、音声視覚による詳細な知覚のためのOmni-Captionerを訓練する。
論文 参考訳（メタデータ） (2025-10-14T17:00:09Z) - OmniVideoBench: Towards Audio-Visual Understanding Evaluation for Omni MLLMs [72.425061028374]
音声・視覚の相乗的理解を評価するためのベンチマークであるOmniVideoBenchを紹介する。
OmniVideoBenchは1000の高品質なQA(QA)ペアで構成され、それぞれにステップバイステップの推論トレースが付加されている。
我々はOmniVideoBenchをリリースし、より強力でより一般化可能な推論機能を持つMLLMの開発を促進する。
論文 参考訳（メタデータ） (2025-10-12T16:34:00Z) - LongVALE: Vision-Audio-Language-Event Benchmark Towards Time-Aware Omni-Modal Perception of Long Videos [35.767842408259796]
リアルワールドビデオは、密集したストーリーラインを形成する一連のイベントを含む、オムニ・モーダル情報(ビジョン、オーディオ、スピーチ)を含んでいる。
微粒なイベントアノテーションによるマルチモーダルビデオデータの欠如と、手動ラベリングの高コストは、全方位ビデオ知覚において大きな障害となる。
正確な時間境界を持つ105Kのオムニモーダルイベントからなる視覚・聴覚・言語イベント理解ベンチマークであるLongVALEを提案する。
論文 参考訳（メタデータ） (2024-11-29T15:18:06Z) - OmnixR: Evaluating Omni-modality Language Models on Reasoning across Modalities [124.05360767047539]
我々は、SoTA Omni-modality Language Modelsをベンチマークするために設計された評価スイートであるOmnixRを紹介する。
OLMはテキスト、ビジョン、オーディオなどの複数のモードを統合し、ユニークな課題を提示する。
実験の結果,OmnixR問題に対処するためには,複数のモダリティからの情報を統合する必要があることがわかった。
論文 参考訳（メタデータ） (2024-10-16T04:29:46Z) - OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。
評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。
我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
論文 参考訳（メタデータ） (2024-09-23T17:59:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。