論文の概要: INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval

• arxiv url: http://arxiv.org/abs/2608.16203v1
• Date: Mon, 17 Aug 2026 07:35:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.578232
• Title: INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval
• Title（参考訳）: INSPIRE: 命令認識音声検索のためのベンチマーク
• Abstract要約: INSPIREは命令対応音声検索のための最初のベンチマークである。 我々は,大規模音声言語モデル,ケースドパイプライン,自己教師型音声モデル,コントラスト型音声言語モデルという4つの検索パラダイムを評価する。
• 参考スコア（独自算出の注目度）: 53.79335341504602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing speech retrieval systems rely on fixed similarity matching and cannot adapt to diverse user intents. We introduce INSPIRE, the first benchmark for instruction-aware speech retrieval, in which natural-language instructions dynamically specify relevance criteria, including semantic content, speaker identity, speaking style, environmental sounds, and their combinations. We evaluate four retrieval paradigms: large audio-language models, cascaded pipelines, self-supervised speech models, and contrastive audio-language models. Our results reveal that no current method robustly handles all retrieval intents. Text-based approaches perform relatively better at semantic retrieval but struggle with paralinguistic attributes, while speech-based models are moderately better at capturing acoustic properties but falter at following instructions. These findings highlight the need for unified architectures capable of instruction-aware speech retrieval.
• Abstract（参考訳）: 既存の音声検索システムは一定の類似性マッチングに依存しており、多様なユーザ意図に適応できない。 InSPIREは、自然言語による指示が意味内容、話者識別、話し方、環境音、それらの組み合わせを含む関連基準を動的に特定する、命令対応音声検索のための最初のベンチマークである。 我々は,大規模音声言語モデル,ケースドパイプライン,自己教師型音声モデル,コントラスト型音声言語モデルという4つの検索パラダイムを評価する。 その結果,現在の手法では全ての検索意図を頑健に扱えないことが明らかとなった。 テキストベースのアプローチは、意味検索において比較的優れているが、パラ言語的属性に苦しむ一方、音声ベースのモデルは、音響特性を捉えるのに適度に優れているが、後続の命令ではフェールする。 これらの知見は、命令対応音声検索が可能な統一アーキテクチャの必要性を浮き彫りにした。

関連論文リスト

• Quantifying the Generation Modality Gap in Speech-Text Language Models [22.8588553114451]
  純粋な音声言語モデルは、コヒーレントなコンテンツを生成する際に、テキストや音声-テキスト言語モデルに遅れをとることが多い。 本研究では,連続音響特徴量生成のためのフローマッチングに基づいて,音声モデル群における音声文のモダリティギャップについて検討する。 我々は、一致したデータに基づいて訓練された音声のみ、テキストのみ、および音声テキスト言語モデルを比較する、統合された世代ベース評価スイートを構築した。
  論文  参考訳（メタデータ） (2026-09-13T19:09:07Z)
• ATIR: Towards Audio-Text Interleaved Contextual Retrieval [63.68521448682396]
  本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。 このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
  論文  参考訳（メタデータ） (2026-04-22T07:11:58Z)
• On the Fallacy of Global Token Perplexity in Spoken Language Model Evaluation [88.77441715819366]
  大規模生音声で事前訓練された生成音声言語モデルは、適切な内容で音声プロンプトを継続することができる。 本稿では,グローバルトークンの難易度に代えて,多種多様な可能性・生成的評価手法を提案する。
  論文  参考訳（メタデータ） (2026-01-09T22:01:56Z)
• Expressive Speech Retrieval using Natural Language Descriptions of Speaking Style [13.415189715216354]
  本稿では,表現型音声検索の課題について紹介する。 目的は、そのスタイルの自然言語記述に基づいて、所定のスタイルで話される発話を検索することである。 我々は音声とテキストエンコーダを訓練し、発話スタイルの音声とテキスト記述を共同潜在空間に埋め込む。
  論文  参考訳（メタデータ） (2025-08-15T03:38:21Z)
• WildSpeech-Bench: Benchmarking End-to-End SpeechLLMs in the Wild [40.210224623581155]
  マルチモーダル大規模言語モデル (LLM) は直接音声対話の強力な機能を示している。 既存の評価手法は、しばしばテキストベースのベンチマークに適応し、音声の特徴や課題を見下ろしている。 本稿では,実践会話におけるエンドツーエンドの音声LLMを体系的に評価するために設計された,最初の総合的ベンチマークを紹介する。
  論文  参考訳（メタデータ） (2025-06-27T03:18:45Z)
• SEAL: Speech Embedding Alignment Learning for Speech Large Language Model with Retrieval-Augmented Generation [10.828717295018123]
  本稿では,中間テキスト表現の必要性を解消する統合埋め込みフレームワークを提案する。 本モデルでは,従来の2段階法に比べて高い精度でパイプライン遅延を50%削減する。
  論文  参考訳（メタデータ） (2025-01-26T15:04:02Z)
• Classification of Spontaneous and Scripted Speech for Multilingual Audio [9.925703861731506]
  発話スタイルが音声処理研究にどのように影響するかをよりよく理解するためには,自発音声からスクリプトを識別することが不可欠である。 本稿では,様々な形式や言語にまたがってよく一般化された分類器を構築することの課題に対処する。 従来型,手作り音響,韻律的特徴から高度なオーディオトランスフォーマーまで,様々なモデルを体系的に評価する。
  論文  参考訳（メタデータ） (2024-12-16T15:45:10Z)
• Speechworthy Instruction-tuned Language Models [71.8586707840169]
  提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。 我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
  論文  参考訳（メタデータ） (2024-09-23T02:34:42Z)
• DeSTA: Enhancing Speech Language Models through Descriptive Speech-Text Alignment [82.86363991170546]
  本稿では、音声キャプションを利用して音声とテキストのモダリティのギャップを埋める記述型音声テキストアライメント手法を提案する。 我々のモデルはDynamic-SUPERBベンチマークで優れた性能を示し、特に目に見えないタスクに一般化する。 これらの知見は、説明豊かな音声キャプションを組み込むことにより、指示追従型SLMを再構築する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-27T03:52:35Z)
• Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
  パラリンGPT(Paralin GPT) モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。 音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
  論文  参考訳（メタデータ） (2023-12-23T18:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。