論文の概要: Speech Retrieval-Augmented Generation without Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2412.16500v1
• Date: Sat, 21 Dec 2024 06:16:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:09.773229
• Title: Speech Retrieval-Augmented Generation without Automatic Speech Recognition
• Title（参考訳）: 音声認識を伴わない検索音声生成
• Authors: Do June Min, Karel Mundnich, Andy Lapastora, Erfan Soltanmohammadi, Srikanth Ronanki, Kyu Han,
• Abstract要約: SpeechRAGは、音声データに対するオープンクエスト応答のために設計された新しいフレームワークである。 提案手法は,事前学習した音声エンコーダを,凍結した大言語モデルに入力した音声アダプタに微調整する。 テキストと音声の埋め込み空間を整列させることで、音声検索者はテキストベースのクエリから音声を直接検索する。
• 参考スコア（独自算出の注目度）: 4.731446054087683
• License:
• Abstract: One common approach for question answering over speech data is to first transcribe speech using automatic speech recognition (ASR) and then employ text-based retrieval-augmented generation (RAG) on the transcriptions. While this cascaded pipeline has proven effective in many practical settings, ASR errors can propagate to the retrieval and generation steps. To overcome this limitation, we introduce SpeechRAG, a novel framework designed for open-question answering over spoken data. Our proposed approach fine-tunes a pre-trained speech encoder into a speech adapter fed into a frozen large language model (LLM)--based retrieval model. By aligning the embedding spaces of text and speech, our speech retriever directly retrieves audio passages from text-based queries, leveraging the retrieval capacity of the frozen text retriever. Our retrieval experiments on spoken question answering datasets show that direct speech retrieval does not degrade over the text-based baseline, and outperforms the cascaded systems using ASR. For generation, we use a speech language model (SLM) as a generator, conditioned on audio passages rather than transcripts. Without fine-tuning of the SLM, this approach outperforms cascaded text-based models when there is high WER in the transcripts.
• Abstract（参考訳）: 音声データに対する質問応答の一般的なアプローチは、まず音声を自動音声認識(ASR)で書き起こし、次にテキストベースの検索拡張生成(RAG)を用いることである。 このカスケードパイプラインは多くの実用的な設定で有効であることが証明されているが、ASRエラーは検索および生成ステップに伝播することができる。 この制限を克服するために,音声データに対するオープンクエスト応答のための新しいフレームワークであるSpeechRAGを導入する。 提案手法は,事前学習した音声エンコーダを,凍結した大言語モデル(LLM)に基づく検索モデルに入力した音声アダプタに微調整する。 テキストと音声の埋め込み空間を整列させることで、凍結したテキスト検索者の検索能力を活用し、テキストベースのクエリから音声を直接検索する。 音声質問応答データセットの検索実験により,テキストベースベースライン上で直接音声検索が劣化せず,ASRを用いたカスケードシステムよりも優れた結果が得られた。 生成には、音声文ではなく音声文で条件付けされた音声言語モデル(SLM)を生成装置として使用する。 SLMを微調整することなく、この手法は文字起こしに高いWERが存在する場合、カスケードテキストベースのモデルよりも優れている。

関連論文リスト

• A Multimodal Dense Retrieval Approach for Speech-Based Open-Domain Question Answering [16.613985687431818]
  音声ベースのオープンドメインQAでは,パス検索が重要な課題である。 本稿では,音声質問を直接処理可能な,エンドツーエンドのマルチモーダル高密度検索手法を提案する。
  論文  参考訳（メタデータ） (2024-09-20T13:15:53Z)
• Automatic Speech Recognition for Hindi [0.6292138336765964]
  この研究は、Webアプリケーションの開発と音声認識のためのWebインターフェースの設計に関するものだった。 ウェブアプリケーションは、大量のオーディオファイルとその転写を管理し、ASR転写の人間の修正を容易にする。 音声認識用Webインターフェースは、Webアプリを実行するデバイスから16kHzのモノオーディオを記録し、音声アクティビティ検出(VAD)を行い、音声認識エンジンに音声を送信する。
  論文  参考訳（メタデータ） (2024-06-26T07:39:20Z)
• Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
  ほとんどの言語では、音声認識システムを効果的に訓練するのに十分なペア音声とテキストデータがない。 本稿では、教師なしASRシステムを開発するために、音素レキシコンへの依存を除去することを提案する。 音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-06-12T16:30:58Z)
• SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts [108.04306136086807]
  本稿では,SpeechGenと呼ばれる統合フレームワークを用いて,各種タスクの音声LMを刺激するための即時チューニングの適用について検討する。 提案した統合フレームワークは効率と有効性に大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-03T22:35:27Z)
• Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM [19.36630667212398]
  本稿では,事前学習された大規模言語モデル(LLM)を適応させて,音声質問応答(QA)と音声継続を行う新しいアプローチであるSpectronを提案する。 我々のアプローチの鍵は、音声認識、テキスト継続、音声合成を共同で監督する訓練目標である。 提案手法は話者保存とセマンティック・コヒーレンスにおいて既存の言語モデルを上回る。
  論文  参考訳（メタデータ） (2023-05-24T15:39:43Z)
• A Textless Metric for Speech-to-Speech Comparison [20.658229254191266]
  テキストの書き起こしに頼らずに音声の発話を比較するための,新しい,シンプルな手法を提案する。 我々は,HuBERTのような最先端の音声2ユニットエンコーダを用いて,音声の発話を離散音響単位に変換する。
  論文  参考訳（メタデータ） (2022-10-21T09:28:54Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model [56.49878599920353]
  SpeechCLIPは、画像を通して音声とテキストをブリッジし、文字起こしなしに音声モデルを強化する新しいフレームワークである。 我々は、最先端の訓練済みのHuBERTとCLIPを活用し、ペア画像と音声キャプションを最小限の微調整で調整する。
  論文  参考訳（メタデータ） (2022-10-03T04:15:36Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。