論文の概要: Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval

• arxiv url: http://arxiv.org/abs/2604.18360v1
• Date: Mon, 20 Apr 2026 14:50:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.948924
• Title: Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
• Title（参考訳）: Omni-Embed-Audio:ロバスト音声テキスト検索のためのマルチモーダルLCMの活用
• Authors: HaeJun Yoo, Yongseop Shin, Insung Lee, Myoung-Wan Koo, Du-Seong Chang,
• Abstract要約: 本稿では,Omni-Embed-Audio(OEA)について述べる。 我々は,OEAが最先端のM2D-CLAPに匹敵するテキスト・テキスト検索性能を実現することを示す。 AudioCaps、Clotho、MECATの実験では、OEAは最先端のM2D-CLAPに匹敵するテキスト対テキスト検索性能を達成している。
• 参考スコア（独自算出の注目度）: 8.094136650811459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-text retrieval systems based on Contrastive Language-Audio Pretraining (CLAP) achieve strong performance on traditional benchmarks; however, these benchmarks rely on caption-style queries that differ substantially from real-world search behavior, limiting their assessment of practical retrieval robustness. We present Omni-Embed-Audio (OEA), a retrieval-oriented encoder leveraging multimodal LLMs with native audio understanding. To systematically evaluate robustness beyond caption-style queries, we introduce User-Intent Queries (UIQs) - five formulations reflecting natural search behaviors: questions, commands, keyword tags, paraphrases, and exclusion-based negative queries. For negative queries, we develop a hard negative mining pipeline and propose discrimination metrics (HNSR, TFR) assessing models' ability to suppress acoustically similar distractors. Experiments on AudioCaps, Clotho, and MECAT show that OEA achieves comparable text-to-audio retrieval performance to state-of-the-art M2D-CLAP, while demonstrating clear advantages in two critical areas: (1) dominant text-to-text retrieval (+22% relative improvement), and (2) substantially superior hard negative discrimination (+4.3%p HNSR@10, +34.7% relative TFR@10), revealing that LLM backbones provide superior semantic understanding of complex queries.
• Abstract（参考訳）: Contrastive Language-Audio Pretraining (CLAP) に基づく音声テキスト検索システムは従来のベンチマークでは高い性能を達成しているが、これらのベンチマークは実世界の検索行動と大きく異なるキャプションスタイルのクエリに依存しており、実用的な検索堅牢性の評価を制限している。 本稿では,Omni-Embed-Audio(OEA)について述べる。 字幕型クエリ以外の堅牢性を体系的に評価するために,質問,コマンド,キーワードタグ,パラフレーズ,排他的負のクエリなど,自然な検索動作を反映した5つの定式化(UIQ)を導入する。 負の問合せに対して,強負のマイニングパイプラインを開発し,音響的に類似した散逸を抑えるモデルの性能を評価する識別指標(HNSR, TFR)を提案する。 AudioCaps、Clotho、MECATの実験では、OEAは最先端のM2D-CLAPに匹敵するテキスト音声検索性能を達成し、一方、(1)支配的なテキスト音声検索(+22%の改善)と(2)圧倒的に優れたハードネガティブ識別(+4.3%p HNSR@10, +34.7%のTFR@10)の2つの重要な領域において明確な優位性を示している。

関連論文リスト

• How Auditory Knowledge in LLM Backbones Shapes Audio Language Models: A Holistic Evaluation [97.0235251827591]
  大規模言語モデル (LLM) は,Large Audio Language Models (LALM) の知識バックボーンとして広く利用されている。 テキストのみの事前学習によって符号化される聴覚知識の量と、それが下流のパフォーマンスに与える影響について検討する。 その結果,家族間で聴覚知識が大きく異なり,テキストのみの結果が音響性能と強く相関していることが判明した。
  論文  参考訳（メタデータ） (2026-03-19T17:50:07Z)
• AEQ-Bench: Measuring Empathy of Omni-Modal Large Models [55.722881748046895]
  AEQ-Benchは、Omni-modal large model(OLM)の2つのコア共感能力を評価するための新しいベンチマークである。 AEQ-Benchは、文脈特異性と音声のトーンに異なる2つの新しい設定を取り入れている。 言語的・パラ言語的な指標の総合的な評価は、OLMが音声出力能力で訓練された場合、一般的にテキストのみの出力を持つモデルよりも優れていたことを示している。
  論文  参考訳（メタデータ） (2026-01-15T15:39:50Z)
• ISA-Bench: Benchmarking Instruction Sensitivity for Large Audio Language Models [28.350243803500504]
  大規模音声言語モデル(LALM)は、音声から多様な情報を抽出し、理解する。 LALMは命令の言い方に非常に敏感であり、命令追従率やタスクパフォーマンスに影響を及ぼす。 本稿では,命令記述,出力形式,タスク構成という3つの軸に沿って,LALMの命令感度を評価するベンチマークであるISA-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-10-27T17:31:25Z)
• AU-Harness: An Open-Source Toolkit for Holistic Evaluation of Audio LLMs [8.918587474371321]
  大規模音声言語モデル(LALM)は急速に進歩しているが、評価は依然として難しい。 LALMの効率的かつ包括的な評価フレームワークであるAU-Harnessを紹介する。 本システムでは,バッチ処理と並列実行を最適化することにより,既存のツールキットよりも最大127%の高速化を実現している。
  論文  参考訳（メタデータ） (2025-09-09T15:30:40Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
  AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。 その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
  論文  参考訳（メタデータ） (2024-02-12T15:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。