論文の概要: Recent Advances in Speech Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2410.03751v3
• Date: Thu, 06 Feb 2025 02:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:30:04.480902
• Title: Recent Advances in Speech Language Models: A Survey
• Title（参考訳）: 音声言語モデルの最新動向:調査
• Authors: Wenqian Cui, Dianzhi Yu, Xiaoqi Jiao, Ziqiao Meng, Guangyan Zhang, Qichao Wang, Yiwen Guo, Irwin King,
• Abstract要約: 音声言語モデル(SpeechLMs)は、テキストから変換することなく音声を生成するエンドツーエンドモデルである。 本稿では,近年のSpeechLM構築手法について概観する。
• 参考スコア（独自算出の注目度）: 45.968078636811356
• License:
• Abstract: Large Language Models (LLMs) have recently garnered significant attention, primarily for their capabilities in text-based interactions. However, natural human interaction often relies on speech, necessitating a shift towards voice-based models. A straightforward approach to achieve this involves a pipeline of ``Automatic Speech Recognition (ASR) + LLM + Text-to-Speech (TTS)", where input speech is transcribed to text, processed by an LLM, and then converted back to speech. Despite being straightforward, this method suffers from inherent limitations, such as information loss during modality conversion, significant latency due to the complex pipeline, and error accumulation across the three stages. To address these issues, Speech Language Models (SpeechLMs) -- end-to-end models that generate speech without converting from text -- have emerged as a promising alternative. This survey paper provides the first comprehensive overview of recent methodologies for constructing SpeechLMs, detailing the key components of their architecture and the various training recipes integral to their development. Additionally, we systematically survey the various capabilities of SpeechLMs, categorize their evaluation metrics, and discuss the challenges and future research directions in this rapidly evolving field. The GitHub repository is available at https://github.com/dreamtheater123/Awesome-SpeechLM-Survey
• Abstract（参考訳）: 大規模言語モデル(LLM)は、主にテキストベースのインタラクションの能力において、近年大きな注目を集めている。 しかしながら、人間の自然な相互作用は、しばしば音声に依存し、音声ベースのモデルへのシフトを必要とする。 これを実現するための簡単なアプローチは、“自動音声認識(ASR) + LLM + Text-to-Speech(TTS)”というパイプラインで、入力された音声はテキストに書き起こされ、LLMによって処理され、その後音声に変換される。 単純であるにもかかわらず、この方法は、モダリティ変換時の情報損失、複雑なパイプラインによる大きな遅延、そして3段階にわたるエラーの蓄積といった、固有の制限に悩まされている。 これらの問題に対処するために、音声言語モデル(SpeechLMs) – テキストから変換せずに音声を生成するエンドツーエンドモデル – が、有望な代替手段として登場した。 本稿では,近年のSpeechLMの構築手法を概観し,そのアーキテクチャと開発に不可欠な各種トレーニングレシピについて概説する。 さらに,SpeechLMの様々な能力を体系的に調査し,その評価指標を分類し,この急速に発展する分野における課題と今後の研究方向性について議論する。 GitHubリポジトリはhttps://github.com/dreamtheater123/Awesome-SpeechLM-Surveyで入手できる。

関連論文リスト

• Long-Form Speech Generation with Spoken Language Models [64.29591880693468]
  SpeechSSMは、テキスト中間子なしで1つの復号セッションで長い形式の音声を学習し、サンプリングする。 新しい埋め込みベースとLLM-judgedメトリクス、長さと時間による品質測定、長文音声処理と生成のための新しいベンチマークであるLibriSpeech-Long。
  論文  参考訳（メタデータ） (2024-12-24T18:56:46Z)
• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• VoiceTextBlender: Augmenting Large Language Models with Speech Capabilities via Single-Stage Joint Speech-Text Supervised Fine-Tuning [64.56272011710735]
  大規模言語モデル(LLM)のバックボーンの低ランク適応(LoRA)に対して,新しい単一段階共同音声テキストSFTアプローチを提案する。 従来のSpeechLMの7Bまたは13Bパラメータと比較すると,我々の3Bモデルは様々な音声ベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-23T00:36:06Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation [46.93969003104427]
  本稿では,広範な音声テキストLLMフレームワークである統一音声対話モデル(USDM)を紹介する。 USDMは、与えられた入力音声に関連する自然な韻律的特徴を持つコヒーレントな音声応答を生成するように設計されている。 提案手法は,従来のベースラインとカスケードベースラインを超越した自然な音声応答を効果的に生成する。
  論文  参考訳（メタデータ） (2024-02-08T14:35:09Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。