論文の概要: Omni-DeepSearch: A Benchmark for Audio-Driven Omni-Modal Deep Search
- arxiv url: http://arxiv.org/abs/2605.08762v1
- Date: Sat, 09 May 2026 07:47:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.870587
- Title: Omni-DeepSearch: A Benchmark for Audio-Driven Omni-Modal Deep Search
- Title（参考訳）: Omni-DeepSearch: オーディオ駆動型Omni-Modalディープサーチのベンチマーク
- Abstract要約: textbf Omni-DeepSearchは、音声駆動のOmni-Modalディープサーチのベンチマークである。
1つ以上のオーディオクリップと関連する質問が与えられた場合、モデルは音声から有用な手がかりを推測し、テキスト、画像、ビデオ検索ツールを呼び出し、短い客観的かつ検証可能な回答を生成するためにマルチホップ推論を実行する必要がある。
実験の結果、最も評価の高いモデルであるGemini-3-Proは平均43.44%の精度しか達成していないことがわかった。
- 参考スコア（独自算出の注目度）: 25.43658921177479
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current omni-modal benchmarks mainly evaluate models under settings where multiple modalities are provided simultaneously, while the ability to start from audio alone and actively search for cross-modal evidence remains underexplored. In this paper, we introduce \textbf{Omni-DeepSearch}, a benchmark for audio-driven omni-modal deep search. Given one or more audio clips and a related question, models must infer useful clues from audio, invoke text, image, and video search tools, and perform multi-hop reasoning to produce a short, objective, and verifiable answer. Omni-DeepSearch contains 640 samples across 15 fine-grained categories, covering four retrieval target modalities and four audio content types. A multi-stage filtering pipeline ensures audio dependence, retrieval necessity, visual modality necessity, and answer uniqueness. Experiments on recent closed-source and open-source omni-modal models show that this task remains highly challenging: the strongest evaluated model, Gemini-3-Pro, achieves only 43.44\% average accuracy. Further analyses illustrate key bottlenecks in audio entity inference, query formulation, tool-use reliability, multi-hop retrieval, and cross-modal verification. These results highlight audio-driven omni-modal deep search as an important and underexplored direction for future multimodal agents.
- Abstract（参考訳）: 現在のOmni-Modalベンチマークでは、複数のモダリティが同時に提供される設定下でのモデルの評価が主に行われているが、オーディオのみから開始し、クロスモーダルなエビデンスを積極的に検索する機能はまだ未定である。
本稿では,音声によるオムニモーダルディープサーチのベンチマークである \textbf{Omni-DeepSearch} を紹介する。
1つ以上のオーディオクリップと関連する質問が与えられた場合、モデルは音声から有用な手がかりを推測し、テキスト、画像、ビデオ検索ツールを呼び出し、短い客観的かつ検証可能な回答を生成するためにマルチホップ推論を実行する必要がある。
Omni-DeepSearchには、15の細かいカテゴリで640のサンプルが含まれており、4つの検索ターゲットモードと4つのオーディオコンテンツタイプがカバーされている。
マルチステージフィルタリングパイプラインは、音声依存、検索の必要性、視覚的モダリティの必要性、ユニークな解答を保証する。
最近のクローズド・ソースおよびオープンソース・オムニ・モーダル・モデルの実験では、このタスクは非常に難しいままである: 最も評価の高いモデルであるGemini-3-Proは平均43.44倍の精度しか達成していない。
さらに、オーディオエンティティ推論、クエリの定式化、ツール使用の信頼性、マルチホップ検索、モーダル間検証における重要なボトルネックについて分析する。
これらの結果は、将来のマルチモーダルエージェントにとって重要かつ未探索の方向として、オーディオ駆動のオムニモーダルディープサーチが注目されている。
関連論文リスト
- TraceAV-Bench: Benchmarking Multi-Hop Trajectory Reasoning over Long Audio-Visual Videos [13.9567665031159]
実世界の音声・視覚的理解には、疎く、時間的に分散し、視覚と聴覚の流れにまたがる証拠の連鎖が必要である。
TraceAV-Benchは、長時間の視覚的軌跡とマルチモーダル幻覚の堅牢性に対して、マルチホップ推論を共同で評価する最初のベンチマークである。
論文 参考訳（メタデータ） (2026-05-08T11:06:43Z) - InterLV-Search: Benchmarking Interleaved Multimodal Agentic Search [38.39587091230621]
既存のベンチマークでは、マルチモーダル検索とビジュアルブラウジングが評価されているが、視覚的証拠は入力に限られるか、応答エンドポイントとして扱われる。
我々はInterleaved Language-Vision Agentic SearchのベンチマークであるtextbfInterLV-Searchを紹介する。
アクティブ・ビジュアル・エビデンス・サーチ、オフライン・インターリーブド・サーチ、オープン・ウェブ・インターリーブド・サーチの3段階にわたる2,061件のサンプルが含まれている。
論文 参考訳（メタデータ） (2026-05-08T09:41:07Z) - ATIR: Towards Audio-Text Interleaved Contextual Retrieval [63.68521448682396]
本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。
このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
論文 参考訳（メタデータ） (2026-04-22T07:11:58Z) - Towards Long-horizon Agentic Multimodal Search [109.0092257657625]
本稿では,LMM-Searcher という,ファイルベースの視覚的表現機構を中心とした新しい多モード深層検索フレームワークを提案する。
エージェントに調整されたフェッチ・イメージ・ツールを装備し、能動的知覚のためのプログレッシブでオンデマンドなビジュアル・ローディング・ストラテジーを実現する。
提案手法は,100ターンの探索地平線へのスケールアップに成功し,オープンソースモデル間の最先端性能を実現した。
論文 参考訳（メタデータ） (2026-04-14T15:40:28Z) - MMOU: A Massive Multi-Task Omni Understanding and Reasoning Benchmark for Long and Complex Real-World Videos [118.61621763485465]
MMOUは、15,000の慎重にキュレートされた質問と9038のウェブコレクトビデオからなる。
ベンチマークには13の基本的なスキルカテゴリが含まれており、いずれもモダリティと時間にまたがるエビデンスを統合する必要がある。
我々は、MMOU上で20以上の最先端のオープンソースおよびプロプライエタリなマルチモーダルモデルを評価する。
論文 参考訳（メタデータ） (2026-03-14T22:28:38Z) - VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning [22.27364585438247]
VSearcherは、マルチモーダル検索エージェントで、現実世界のWeb環境での長時間のマルチターンツールの使用を可能にする。
大規模で複雑なマルチモーダルQA質問を生成するために、反復射出データ合成パイプラインを導入する。
次に、SFT-then-RLトレーニングパイプラインを用いて、ベースマルチモーダルモデルを現実世界のWeb環境におけるマルチターンツール呼び出しが可能なエージェントに変換する。
論文 参考訳（メタデータ） (2026-03-03T09:33:22Z) - OmniRet: Efficient and High-Fidelity Omni Modality Retrieval [51.80205678389465]
OmniRetは,テキスト,視覚,音声の3つの重要なモダリティにまたがる複雑なクエリを処理可能な,最初の検索モデルである。
提案モデルでは,コンポジションクエリ,音声,ビデオ検索のタスクにおいて,最先端のモデルを用いたオンパーパフォーマンスを実現しつつ,大幅な改善を実現している。
論文 参考訳（メタデータ） (2026-03-02T17:19:55Z) - Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models [87.99592946216137]
Vision-DeepResearchは、数十の推論ステップと数百のエンジンインタラクションをサポートしている。
私たちのVision-DeepResearchは、数十の推論ステップと数百のエンジンインタラクションをサポートします。
論文 参考訳（メタデータ） (2026-01-29T17:58:40Z) - JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation [16.067014259345743]
我々は、データセット上で、視覚のみ、音声のみ、およびOmni-LLMを優先的に評価する。
最高性能のOmni-LLMでさえ平均精度は62.6%であり、ユニモーダルベースラインを上回っている。
論文 参考訳（メタデータ） (2025-12-14T17:23:21Z) - Contra4: Evaluating Contrastive Cross-Modal Reasoning in Audio, Video, Image, and 3D [97.08549913899247]
Contra4は、画像、オーディオ、ビデオ、および3Dの4つのモードにまたがる、対照的な相互モーダル推論のためのデータセットである。
それぞれの例は、複数の候補モダリティのインスタンスと並んで自然言語の質問を示し、モデルがプロンプトと意味的に一致するものを選択する必要がある。
コントラ4は、人間の注釈付きキャプションとモデルの混在するラウンドトリップ一貫性フィルタを組み合わせることで、高品質な監視を確実にし、174kのトレーニング例と2.3kのサンプルを手作業で検証する。
論文 参考訳（メタデータ） (2025-06-02T03:12:13Z) - OmniSep: Unified Omni-Modality Sound Separation with Query-Mixup [50.70494796172493]
Omni-modal Sound separation (OmniSep) は、Omni-modal クエリに基づいてクリーンなサウンドトラックを分離できる新しいフレームワークである。
トレーニング中に異なるモダリティからクエリ機能をブレンドするQuery-Mixup戦略を導入する。
我々は、クエリーが音の分離に肯定的または否定的に影響を与え、特定の音の保持や除去を容易にすることにより、この柔軟性をさらに強化する。
論文 参考訳（メタデータ） (2024-10-28T17:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。