論文の概要: Improving Large Audio-Language Model Embedding Baselines for Instruction-Aware Speech Retrieval
- arxiv url: http://arxiv.org/abs/2611.09122v1
- Date: Fri, 06 Nov 2026 08:00:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 00:17:47.438603
- Title: Improving Large Audio-Language Model Embedding Baselines for Instruction-Aware Speech Retrieval
- Title(参考訳): 命令認識音声検索のためのベースライン埋め込み型大規模音声言語モデルの改良
- Abstract要約: IRIS-Embedは大規模なオーディオ言語モデルを埋め込みモデルに適応させる。
実データと合成データから約900Kのトレーニングサンプルを構築した。
命令対応音声検索ベンチマークであるINSPIREでは、IRIS-Embedは対応するLALMベースラインを一貫して上回っている。
- 参考スコア(独自算出の注目度): 58.508772021289104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speech retrieval finds relevant spoken documents given a spoken query. The spoken query alone may not reveal the retrieval goal, such as finding an answer or matching speaker identity. Instruction-aware speech retrieval expresses this goal through a natural-language text instruction. Large audio-language models (LALMs) effectively process speech and text, and our analysis shows that different retrieval requirements favor hidden states from different audio-encoder layers. We introduce IRIS-Embed, which adapts LALMs into embedding models through contrastive training and instruction-aware audio layer weighting. We construct about 900K training samples from real data and synthetic data, with instructions expressing requirements for one or more speech attributes. On INSPIRE, an instruction-aware speech retrieval benchmark, IRIS-Embed consistently outperforms the corresponding LALM baselines. The best model achieves 62.92% macro-average Recall@50, surpassing the strongest baseline at 45.15%. Controlled comparisons demonstrate instruction awareness and the benefits of audio layer weighting. On MAEB, a massive audio embedding benchmark, macro-average gains of 9.4-19.8 points over the corresponding baselines show generalization beyond speech retrieval.
- Abstract(参考訳): 音声検索は、音声クエリが与えられた関連する音声文書を検索する。
音声クエリだけでは、回答の検索や話者のアイデンティティの一致など、検索目標を明らかにしない場合がある。
命令認識型音声検索は、自然言語によるテキスト・インストラクションを通じて、この目標を表現している。
大規模音声言語モデル (LALM) は音声とテキストを効果的に処理し, 検索要求が異なる音声エンコーダ層から隠れた状態を好むことを示す。
IRIS-EmbedはLALMをコントラストトレーニングと命令対応オーディオ層重み付けにより埋め込みモデルに適応させる。
実データと合成データから約900Kのトレーニングサンプルを構築し,1つ以上の音声属性に対する要求を表現する指示を行う。
命令対応音声検索ベンチマークであるINSPIREでは、IRIS-Embedは対応するLALMベースラインを一貫して上回っている。
最も優れたモデルは62.92%のマクロ平均リコール@50であり、45.15%で最強のベースラインを超えた。
制御された比較は、命令認識とオーディオ層重み付けの利点を示す。
大規模なオーディオ埋め込みベンチマークであるMAEBでは、対応するベースラインの9.4-19.8ポイントのマクロ平均ゲインは、音声検索以上の一般化を示している。
関連論文リスト
- INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval [53.79335341504602]
INSPIREは命令対応音声検索のための最初のベンチマークである。
我々は,大規模音声言語モデル,ケースドパイプライン,自己教師型音声モデル,コントラスト型音声言語モデルという4つの検索パラダイムを評価する。
論文 参考訳(メタデータ) (2026-08-17T07:35:18Z) - ATIR: Towards Audio-Text Interleaved Contextual Retrieval [63.68521448682396]
本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。
このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
論文 参考訳(メタデータ) (2026-04-22T07:11:58Z) - DeSTA2.5-Audio: Toward General-Purpose Large Audio Language Model with Self-Generated Cross-Modal Alignment [94.0709779805955]
DeSTA2.5-Audio, a general-purpose Large Audio Language Model (LALM)について紹介する。
タスク固有の音声命令チューニングを必要とせず、頑健な聴覚知覚と指示追従のために設計されている。
DeSTA2.5-Audioは、幅広いオーディオ言語ベンチマークで最先端または競合的なパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-07-03T16:28:25Z) - IFEval-Audio: Benchmarking Instruction-Following Capability in Audio-based Large Language Models [18.11667976818302]
IFEval-Audioには、6つの異なる次元にわたる280のオーディオインストラクション回答トリプルが含まれている。
各例は音声入力とテキスト命令をペアリングし、モデルが特定の構造に従う出力を生成する必要がある。
我々は、最先端のオーディオLLMを、オーディオ関連命令に従う能力に基づいてベンチマークする。
論文 参考訳(メタデータ) (2025-05-22T15:15:29Z) - Do Audio-Language Models Understand Linguistic Variations? [42.17718387132912]
Open-vocabulary Audio Language Model (ALM)は、自然言語クエリを用いた音声テキスト検索の新しいパラダイムである。
本稿では,言語変化に対する音声表現を学習するための新しい,計算効率の高い手法であるRobostCLAPを提案する。
論文 参考訳(メタデータ) (2024-10-21T20:55:33Z) - EARS: An Anechoic Fullband Speech Dataset Benchmarked for Speech Enhancement and Dereverberation [83.29199726650899]
EARSデータセットは、さまざまなバックグラウンドから107人の話者で構成され、100時間のクリーンで無響な音声データである。
データセットには、感情的なスピーチ、異なる読み方、非言語音、会話の自由なスピーチなど、幅広い種類の話し方が含まれている。
提案手法は,データセット上での音声強調とデバーベレーションのための様々な手法をベンチマークし,その性能を測定値を用いて評価する。
論文 参考訳(メタデータ) (2024-06-10T11:28:29Z) - AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。
AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。
音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
論文 参考訳(メタデータ) (2023-06-22T14:37:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。