論文の概要: SSEmb: Training a Generalizable Speech Retrieval Model Using Only Automatic Speech Recognition Data

• arxiv url: http://arxiv.org/abs/2610.17813v1
• Date: Tue, 13 Oct 2026 06:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:05:57.245825
• Title: SSEmb: Training a Generalizable Speech Retrieval Model Using Only Automatic Speech Recognition Data
• Title（参考訳）: SSEmb: 音声認識データのみを用いた一般化可能な音声検索モデルの訓練
• Abstract要約: 音声エージェントにとって、エンドツーエンドの音声テキスト検索は重要な機能になりつつある。 タスク固有の監視を標準のASRコーパスから音声書き起こしペアに置き換える手法を提案する。 我々のシステムは、待ち時間を削減すると同時に、ASR-then-retrieveシステムと競合し、既存の公用音声埋め込みモデルより優れています。
• 参考スコア（独自算出の注目度）: 46.07520120656243
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: End-to-end speech-to-text retrieval is becoming an important capability for voice agents, allowing spoken queries to retrieve relevant documents without intermediate transcription. Training these retrievers typically depends on large collections of spoken query-document pairs that are costly to acquire and difficult to extend across domains and languages. We introduce \ours, which replaces such task-specific supervision with speech-transcript pairs from standard ASR corpora. A lightweight adapter projects the output of a frozen speech encoder into the retrieval space of a frozen pretrained text embedding model. \ours is competitive with cascaded ASR-then-retrieve systems while reducing inference latency, and outperforms existing publicly available speech embedding models. It also transfers to text-to-speech and speech-to-speech retrieval without additional training. Controlled analyses validate the speech-transcript alignment paradigm, demonstrating robustness to reduced training data and consistent gains from larger corpora. Further ablations of loss functions and trainable modules establish practical guidelines for the framework. Model weights and codes are to be released.
• Abstract（参考訳）: エンドツーエンドの音声テキスト検索は音声エージェントにとって重要な機能となり、音声クエリは中間転写なしで関連文書を検索できるようになっている。 これらのレトリバーの訓練は、典型的には、ドメインや言語をまたいで拡張するのにコストがかかる、音声クエリとドキュメントのペアの大規模なコレクションに依存します。 そこで本研究では,通常のASRコーパスから音声書き起こしペアに代えて,タスク固有の監視機能である \ours を導入する。 軽量アダプタは、凍結済みテキスト埋め込みモデルの検索空間に凍結音声エンコーダの出力を投影する。 \oursは推論遅延を低減しつつ、ASR-then-retrieveシステムと競合し、既存の公開音声埋め込みモデルより優れている。 また、追加の訓練なしにテキストから音声への変換や音声から音声への検索も行う。 制御された分析は、音声書き起こしアライメントのパラダイムを検証し、トレーニングデータの縮小とより大きなコーパスからの一貫した利得の堅牢性を実証する。 さらに、損失関数とトレーニング可能なモジュールの廃止により、このフレームワークの実践的ガイドラインが確立される。 モデルの重みとコードはリリースされる予定だ。

関連論文リスト

• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• InSerter: Speech Instruction Following with Unsupervised Interleaved Pre-training [23.330297074014315]
  本稿では,Interleaved Speech-Text Representation Pre-trainingの略であるInSerterという,シンプルでスケーラブルなトレーニング手法を提案する。 InSerterは、大規模な教師なし音声テキストシーケンスを事前訓練するために設計されており、テキストから音声への変換を用いて、広範テキストコーパスのランダムに選択されたセグメントから音声を合成する。 提案したInSerterは、SpeechInstructBenchにおけるSOTA性能を実現し、多様な音声処理タスクにおいて、優れた、あるいは競争的な結果を示す。
  論文  参考訳（メタデータ） (2025-03-04T16:34:14Z)
• Speech Retrieval-Augmented Generation without Automatic Speech Recognition [4.731446054087683]
  SpeechRAGは、音声データに対するオープンクエスト応答のために設計された新しいフレームワークである。 提案手法は,事前学習した音声エンコーダを,凍結した大言語モデルに入力した音声アダプタに微調整する。 テキストと音声の埋め込み空間を整列させることで、音声検索者はテキストベースのクエリから音声を直接検索する。
  論文  参考訳（メタデータ） (2024-12-21T06:16:04Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。