論文の概要: Speech-to-Text Adapter and Speech-to-Entity Retriever Augmented LLMs for Speech Understanding

• arxiv url: http://arxiv.org/abs/2306.07944v1
• Date: Thu, 8 Jun 2023 22:33:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-18 12:32:27.177944
• Title: Speech-to-Text Adapter and Speech-to-Entity Retriever Augmented LLMs for Speech Understanding
• Title（参考訳）: 音声理解のための音声対テキストアダプタ及び音声対エンティティ検索器拡張llm
• Authors: Mingqiu Wang, Izhak Shafran, Hagen Soltau, Wei Han, Yuan Cao, Dian Yu, Laurent El Shafey
• Abstract要約: 本稿では,Speech2Textアダプタを用いた共同音声・言語モデル(SLM)を提案する。 SLMは音声情報を失わずにテキストトークン埋め込み空間に音声をマッピングする。 音声MultiWozデータセット(DSTC11チャレンジ)では、SLMはダイアログ状態追跡(DST)性能を大幅に改善する。
• 参考スコア（独自算出の注目度）: 13.527613396601268
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have been applied in the speech domain, often incurring a performance drop due to misaligned between speech and language representations. To bridge this gap, we propose a joint speech and language model (SLM) using a Speech2Text adapter, which maps speech into text token embedding space without speech information loss. Additionally, using a CTC-based blank-filtering, we can reduce the speech sequence length to that of text. In speech MultiWoz dataset (DSTC11 challenge), SLM largely improves the dialog state tracking (DST) performance (24.7% to 28.4% accuracy). Further to address errors on rare entities, we augment SLM with a Speech2Entity retriever, which uses speech to retrieve relevant entities, and then adds them to the original SLM input as a prefix. With this retrieval-augmented SLM (ReSLM), the DST performance jumps to 34.6% accuracy. Moreover, augmenting the ASR task with the dialog understanding task improves the ASR performance from 9.4% to 8.5% WER.
• Abstract（参考訳）: 大規模言語モデル(llm)は音声領域に適用され、しばしば言語表現と言語表現のミスアライメントによってパフォーマンスが低下する。 このギャップを埋めるために,音声を音声情報を失うことなくテキストトークン埋め込み空間にマッピングするSpeech2Textアダプタを用いた共同音声・言語モデル(SLM)を提案する。 さらに,CTCに基づくブランクフィルタを用いることで,音声列長をテキスト長に短縮することができる。 音声MultiWozデータセット(DSTC11チャレンジ)では、SLMはダイアログ状態追跡(DST)のパフォーマンスを大幅に改善する(24.7%から28.4%の精度)。 さらに,レアエンティティの誤りに対処するために,音声を用いて関連エンティティを検索するSpeech2Entity検索器を用いてSLMを拡張し,それらをプレフィックスとして元のSLM入力に追加する。 この検索強化SLM(ReSLM)により、DST性能は34.6%に向上した。 さらに、対話理解タスクによるASRタスクの強化により、ASRのパフォーマンスは9.4%から8.5%に向上する。

関連論文リスト

• VoiceTextBlender: Augmenting Large Language Models with Speech Capabilities via Single-Stage Joint Speech-Text Supervised Fine-Tuning [64.56272011710735]
  大規模言語モデル(LLM)のバックボーンの低ランク適応(LoRA)に対して,新しい単一段階共同音声テキストSFTアプローチを提案する。 従来のSpeechLMの7Bまたは13Bパラメータと比較すると,我々の3Bモデルは様々な音声ベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-23T00:36:06Z)
• Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Internalizing ASR with Implicit Chain of Thought for Efficient Speech-to-Speech Conversational LLM [3.6950912517562435]
  本稿では,ASR の思考を音声 LLM に暗黙的に内部化する手法を提案する。 このアプローチはレイテンシを低減し、モデルの音声に対するネイティブ理解を改善し、より効率的で自然なリアルタイムオーディオインタラクションを実現する。
  論文  参考訳（メタデータ） (2024-09-25T20:59:12Z)
• DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding [51.32965203977845]
  本稿では,連続的な音声エンコーダ出力の代わりに離散音声単位(DSU)を用いることを提案する。 提案モデルでは, 未知領域からの音声入力に対する頑健な性能と, 音声質問応答における指示追従能力を示す。 この結果から,ASRタスクとデータセットは,音声質問応答タスクの指導訓練に必須ではないことが示唆された。
  論文  参考訳（メタデータ） (2024-06-13T17:28:13Z)
• Retrieval Augmented End-to-End Spoken Dialog Models [20.896330994089283]
  音声信号から直接ダイアログ状態が推測される音声対話アプリケーションにSLMを適用する。 RAG(retrieval-augmented generation)パラダイムにヒントを得て,この弱点を克服する検索拡張SLM(ReSLM)を提案する。 音声MultipleWozタスク(DSTC-11チャレンジ)を用いてReSLMを評価し,この検索によりモデル性能が向上することを確認した。
  論文  参考訳（メタデータ） (2024-02-02T18:23:09Z)
• SALM: Speech-augmented Language Model with In-context Learning for Speech Recognition and Translation [26.778332992311043]
  本稿では,エム・マルチタスクとエム・イン・コンテクスト学習機能を備えた音声拡張言語モデル(SALM)を提案する。 SALMは自動音声認識(ASR)と音声翻訳(AST)のためのタスク固有のコンバータベースラインと同等の性能を達成する
  論文  参考訳（メタデータ） (2023-10-13T22:07:33Z)
• Voxtlm: unified decoder-only models for consolidating speech recognition/synthesis and speech/text continuation tasks [61.3055230762097]
  音声認識,音声合成,テキスト生成,音声継続の4つのタスクを実行できるデコーダのみの言語モデルであるVoxtLMを提案する。 VoxtLMは、テキスト語彙を自己教師付き音声特徴から独立した音声トークンと統合し、マルチタスク学習を可能にするために特別なトークンを使用する。
  論文  参考訳（メタデータ） (2023-09-14T03:13:18Z)
• SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts [108.04306136086807]
  本稿では,SpeechGenと呼ばれる統合フレームワークを用いて,各種タスクの音声LMを刺激するための即時チューニングの適用について検討する。 提案した統合フレームワークは効率と有効性に大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-03T22:35:27Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。