論文の概要: VoiceTrace: A Benchmark and Retrieval Framework for Who-Said-What Speech Retrieval

• arxiv url: http://arxiv.org/abs/2609.18521v1
• Date: Wed, 16 Sep 2026 11:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.778162
• Title: VoiceTrace: A Benchmark and Retrieval Framework for Who-Said-What Speech Retrieval
• Title（参考訳）: VoiceTrace: 音声検索のためのベンチマークと検索フレームワーク
• Abstract要約: 音声コンテンツが会議、講義、ポッドキャスト、ビデオの間で成長を続けるにつれ、音声検索の重要性はますます高まっている。 既存のベンチマークやモデルでは、音声コンテンツよりも高度なセマンティック検索があるが、主にemph whoの言葉を見下ろしながら、emph Whatに焦点が当てられている。 ハイブリッド音声検索のためのベンチマークである textbfVoiceTrace を導入し,検索対象のテキスト特定語と検索対象の参照音声特定語を組み合わせた。
• 参考スコア（独自算出の注目度）: 29.421662501278806
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech retrieval has become increasingly important as spoken content continues to grow across meetings, lectures, podcasts, and videos. Existing benchmarks and models have advanced semantic search over spoken content, but largely focus on \emph{what} is said while overlooking \emph{who} says it. In many real-world scenarios, however, users need to retrieve speech based jointly on semantic content and a target speaker, where the speaker may be specified naturally through a reference speech utterance rather than a predefined identity. To address this gap, we introduce \textbf{VoiceTrace-Bench}, a benchmark for hybrid speech retrieval in which each query combines text specifying \emph{what} to retrieve with reference speech specifying \emph{who} to retrieve. This setting requires models to integrate complementary semantic and speaker information directly from heterogeneous query inputs. Motivated by the joint audio-text modeling capabilities of audio-language models (ALMs), we develop \textbf{VoiceTrace}, a two-stage retrieval framework consisting of \textbf{VoiceTrace-Emb}, an embedding model that learns unified representations for efficient large-scale retrieval, and \textbf{VoiceTrace-Reranker}, a reranking model that jointly examines each query--candidate pair for fine-grained relevance estimation. Experiments show that VoiceTrace achieves state-of-the-art performance on established semantic speech retrieval benchmarks, while substantially outperforming cascade-based approaches on VoiceTrace-Bench, demonstrating its effectiveness for both conventional semantic retrieval and the new hybrid retrieval setting.
• Abstract（参考訳）: 音声コンテンツが会議、講義、ポッドキャスト、ビデオの間で成長を続けるにつれ、音声検索の重要性はますます高まっている。 既存のベンチマークやモデルは、音声コンテンツよりも高度なセマンティック検索を持っているが、主に「emph{what}」に焦点を当てている。 しかし実世界の多くのシナリオでは、ユーザーはセマンティックコンテンツとターゲット話者を併用して音声を検索する必要がある。 このギャップに対処するために,各クエリが検索するテキストと検索する参照音声と,検索する参照音声とを組み合わせたハイブリッド音声検索のためのベンチマークである \textbf{VoiceTrace-Bench} を紹介する。 この設定では、異種クエリ入力から直接補完的な意味情報と話者情報を統合する必要がある。 音声言語モデル(ALM)の共用音声テキストモデリング機能により,高効率な大規模検索のための統一表現を学習する組込みモデルである \textbf{VoiceTrace-Emb} と,細かな関連性推定のための各クエリ候補ペアを共同で検査するリグレードモデルである \textbf{VoiceTrace-Reranker} の2段階検索フレームワークを開発した。 実験により、VoiceTraceは確立されたセマンティック音声検索ベンチマークの最先端性能を達成しつつ、VoiceTrace-Benchにおけるカスケードベースのアプローチを大幅に上回り、従来のセマンティック検索と新しいハイブリッド検索の両方の有効性を実証した。

関連論文リスト

• Quantifying the Generation Modality Gap in Speech-Text Language Models [22.8588553114451]
  純粋な音声言語モデルは、コヒーレントなコンテンツを生成する際に、テキストや音声-テキスト言語モデルに遅れをとることが多い。 本研究では,連続音響特徴量生成のためのフローマッチングに基づいて,音声モデル群における音声文のモダリティギャップについて検討する。 我々は、一致したデータに基づいて訓練された音声のみ、テキストのみ、および音声テキスト言語モデルを比較する、統合された世代ベース評価スイートを構築した。
  論文  参考訳（メタデータ） (2026-09-13T19:09:07Z)
• INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval [53.79335341504602]
  INSPIREは命令対応音声検索のための最初のベンチマークである。 我々は,大規模音声言語モデル,ケースドパイプライン,自己教師型音声モデル,コントラスト型音声言語モデルという4つの検索パラダイムを評価する。
  論文  参考訳（メタデータ） (2026-08-17T07:35:18Z)
• ATIR: Towards Audio-Text Interleaved Contextual Retrieval [63.68521448682396]
  本稿では,Audio-Text Interleaved contextual Retrieval (ATIR)タスクを導入する。 このベンチマークは、意味検索における既存の音声検索データセットの限界を実質的に解決する。
  論文  参考訳（メタデータ） (2026-04-22T07:11:58Z)
• Expressive Speech Retrieval using Natural Language Descriptions of Speaking Style [13.415189715216354]
  本稿では,表現型音声検索の課題について紹介する。 目的は、そのスタイルの自然言語記述に基づいて、所定のスタイルで話される発話を検索することである。 我々は音声とテキストエンコーダを訓練し、発話スタイルの音声とテキスト記述を共同潜在空間に埋め込む。
  論文  参考訳（メタデータ） (2025-08-15T03:38:21Z)
• SEAL: Speech Embedding Alignment Learning for Speech Large Language Model with Retrieval-Augmented Generation [10.828717295018123]
  本稿では,中間テキスト表現の必要性を解消する統合埋め込みフレームワークを提案する。 本モデルでは,従来の2段階法に比べて高い精度でパイプライン遅延を50%削減する。
  論文  参考訳（メタデータ） (2025-01-26T15:04:02Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• SSP: Self-Supervised Post-training for Conversational Search [63.28684982954115]
  本稿では,対話型検索モデルを効率的に初期化するための3つの自己教師型タスクを備えた学習後パラダイムであるフルモデル(モデル)を提案する。 提案手法の有効性を検証するために,CAsT-19 と CAsT-20 の2つのベンチマークデータセットを用いて,会話検索タスクにモデルにより訓練後の会話エンコーダを適用した。
  論文  参考訳（メタデータ） (2023-07-02T13:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。