論文の概要: Distilling an End-to-End Voice Assistant Without Instruction Training Data

• arxiv url: http://arxiv.org/abs/2410.02678v1
• Date: Thu, 3 Oct 2024 17:04:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 01:42:49.649309
• Title: Distilling an End-to-End Voice Assistant Without Instruction Training Data
• Title（参考訳）: 指導訓練データのないエンドツーエンド音声アシスタントの蒸留
• Authors: William Held, Ella Li, Michael Ryan, Weiyan Shi, Yanzhe Zhang, Diyi Yang,
• Abstract要約: Distilled Voice Assistant (DiVA)は、質問応答、分類、翻訳を一般化する。 Qwen 2 Audioのような最先端のモデルと比較すると,DiVAはユーザの好みによく適合し,72%の勝利率を達成した。
• 参考スコア（独自算出の注目度）: 53.524071162124464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Voice assistants, such as Siri and Google Assistant, typically model audio and text separately, resulting in lost speech information and increased complexity. Recent efforts to address this with end-to-end Speech Large Language Models (LLMs) trained with supervised finetuning (SFT) have led to models ``forgetting" capabilities from text-only LLMs. Our work proposes an alternative paradigm for training Speech LLMs without instruction data, using the response of a text-only LLM to transcripts as self-supervision. Importantly, this process can be performed without annotated responses. We show that our Distilled Voice Assistant (DiVA) generalizes to Spoken Question Answering, Classification, and Translation. Furthermore, we show that DiVA better meets user preferences, achieving a 72\% win rate compared with state-of-the-art models like Qwen 2 Audio, despite using $>$100x less training compute.
• Abstract（参考訳）: SiriやGoogle Assistantのような音声アシスタントは、通常、音声とテキストを別々にモデル化する。 教師付き微調整(SFT)で訓練されたエンドツーエンドの音声大言語モデル(LLM)でこの問題に対処するための最近の取り組みは、テキストのみのLLMから‘forgetting’機能をモデルに導いた。 本研究は,テキストのみのLLMからテキストのみのLLMの応答を自己監督として利用して,命令データなしで音声LLMを訓練するための代替パラダイムを提案する。 重要なことに、このプロセスは注釈付き応答なしで実行できる。 音声音声アシスタント (DiVA) が音声質問応答, 分類, 翻訳に一般化されていることを示す。 さらに,Qwen 2 Audioのような最先端のモデルと比較して,トレーニング計算が100ドル以下であるにもかかわらず,DiVAが72%の勝利率を達成することにより,ユーザの嗜好を満足することを示す。

関連論文リスト

• VoiceLDM: Text-to-Speech with Environmental Context [22.29992463094861]
  VoiceLDMは、2つの異なる自然言語のプロンプトを正確に追従するオーディオを生成するために設計されたモデルである。 事前訓練されたコントラスト言語事前訓練(CLAP)とWhisperを利用することで、VoiceLDMは手動の注釈や書き起こしなしに大量の現実世界のオーディオで訓練される。 我々は,VoiceLDMが両入力条件に整合した可塑性音声を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-09-24T15:20:59Z)
• Weakly-supervised Automated Audio Captioning via text only training [1.504795651143257]
  本稿では,テキストデータと事前学習されたCLAPモデルのみを前提として,AACモデルをトレーニングするための弱い教師付きアプローチを提案する。 提案手法をClosoとAudioCapsのデータセット上で評価し,完全に教師されたアプローチと比較して,最大83%の相対的な性能を実現する能力を示した。
  論文  参考訳（メタデータ） (2023-09-21T16:40:46Z)
• End-to-End Speech Recognition Contextualization with Large Language Models [25.198480789044346]
  本稿では,Large Language Models (LLM) を取り入れた音声認識モデルの文脈化手法を提案する。 音声機能とコンテクスト用のオプションテキストトークンを提供し、デコーダのみの方法でシステムに書き起こしを訓練する。 実験の結果,追加のテキストコンテキストが提供されると,WERが6%削減され,性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-09-19T20:28:57Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM [19.36630667212398]
  本稿では,事前学習された大規模言語モデル(LLM)を適応させて,音声質問応答(QA)と音声継続を行う新しいアプローチであるSpectronを提案する。 我々のアプローチの鍵は、音声認識、テキスト継続、音声合成を共同で監督する訓練目標である。 提案手法は話者保存とセマンティック・コヒーレンスにおいて既存の言語モデルを上回る。
  論文  参考訳（メタデータ） (2023-05-24T15:39:43Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing [102.45426364965887]
  そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。 WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。 トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
  論文  参考訳（メタデータ） (2021-10-26T17:55:19Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• Exploring Transfer Learning For End-to-End Spoken Language Understanding [8.317084844841323]
  スピーチから仮説に直接移動するエンドツーエンド(E2E)システムは、より魅力的なオプションです。 音声からテキストまでの複数のタスクを共同トレーニングするE2Eシステムを提案する。 個々のタスクで訓練されたE2Eモデルの性能を上回ります。
  論文  参考訳（メタデータ） (2020-12-15T19:02:15Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。