論文の概要: Moshi: a speech-text foundation model for real-time dialogue

• arxiv url: http://arxiv.org/abs/2410.00037v2
• Date: Wed, 2 Oct 2024 09:11:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 15:29:12.935758
• Title: Moshi: a speech-text foundation model for real-time dialogue
• Title（参考訳）: モシ:リアルタイム対話のための音声文基盤モデル
• Authors: Alexandre Défossez, Laurent Mazaré, Manu Orsini, Amélie Royer, Patrick Pérez, Hervé Jégou, Edouard Grave, Neil Zeghidour,
• Abstract要約: 現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
• 参考スコア（独自算出の注目度）: 78.88479749811376
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce Moshi, a speech-text foundation model and full-duplex spoken dialogue framework. Current systems for spoken dialogue rely on pipelines of independent components, namely voice activity detection, speech recognition, textual dialogue and text-to-speech. Such frameworks cannot emulate the experience of real conversations. First, their complexity induces a latency of several seconds between interactions. Second, text being the intermediate modality for dialogue, non-linguistic information that modifies meaning -- such as emotion or non-speech sounds -- is lost in the interaction. Finally, they rely on a segmentation into speaker turns, which does not take into account overlapping speech, interruptions and interjections. Moshi solves these independent issues altogether by casting spoken dialogue as speech-to-speech generation. Starting from a text language model backbone, Moshi generates speech as tokens from the residual quantizer of a neural audio codec, while modeling separately its own speech and that of the user into parallel streams. This allows for the removal of explicit speaker turns, and the modeling of arbitrary conversational dynamics. We moreover extend the hierarchical semantic-to-acoustic token generation of previous work to first predict time-aligned text tokens as a prefix to audio tokens. Not only this "Inner Monologue" method significantly improves the linguistic quality of generated speech, but we also illustrate how it can provide streaming speech recognition and text-to-speech. Our resulting model is the first real-time full-duplex spoken large language model, with a theoretical latency of 160ms, 200ms in practice, and is available at https://github.com/kyutai-labs/moshi.
• Abstract（参考訳）: 音声文基盤モデルと全二重音声対話フレームワークであるMoshiを紹介する。 現在の音声対話システムは、音声活動の検出、音声認識、テキスト対話、音声合成など、独立したコンポーネントのパイプラインに依存している。 このようなフレームワークは、実際の会話の体験をエミュレートすることはできない。 まず、その複雑さは相互作用間の数秒の遅延を引き起こす。 第二に、対話の中間的モダリティであるテキストは、感情や非音声音などの意味を修飾する非言語情報である。 最後に、それらは話者のターンへのセグメンテーションに依存しており、重複する音声、中断、干渉を考慮していない。 モシは、音声対話を音声音声生成としてキャストすることで、これらの独立した問題を解決する。 テキスト言語モデルバックボーンから始まるMoshiは、ニューラルネットワークコーデックの残留量子化器から音声をトークンとして生成し、独自の音声とユーザの音声を別々に並列ストリームにモデル化する。 これにより、明示的な話者回転の除去と任意の会話力学のモデリングが可能になる。 さらに,先行研究の階層的意味-音響トークン生成を拡張し,まず音声トークンの接頭辞として時刻順のテキストトークンを予測する。 この「インナー・モノローグ」手法は、生成した音声の言語的品質を著しく向上させるだけでなく、ストリーミング音声認識とテキスト・トゥ・音声を提供する方法についても説明する。 得られたモデルは,160ms,200msの理論的待ち時間を持つ,初めての実時間2倍音声大言語モデルであり,https://github.com/kyutai-labs/moshiで利用可能である。

関連論文リスト

• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities [55.11130688075417]
  IntrinsicVoicは、本質的なリアルタイム音声対話機能を備えたLLMである。 我々の新規アーキテクチャであるGroupFormerは、テキストシーケンスに匹敵する長さまで音声シーケンスを削減できる。 我々は,500k近い音声対音声対話を含む,メソッド500kというマルチターン音声対音声対話データセットを構築した。
  論文  参考訳（メタデータ） (2024-10-09T05:04:31Z)
• Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation [16.724603503894166]
  Style-Talkerは、高速音声ダイアログ生成のためのスタイルベースのTSモデルとともに、オーディオLLMを微調整する革新的なフレームワークである。 実験の結果,Style-Talkerは対話の自然さとコヒーレンスの両方の観点から,従来のカスケードと音声音声のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2024-08-13T04:35:11Z)
• CoVoMix: Advancing Zero-Shot Speech Generation for Human-like Multi-talker Conversations [97.75037148056367]
  CoVoMixは、ゼロショット、人間ライク、マルチスピーカー、マルチラウンド対話音声生成のための新しいモデルである。 対話モデリングと生成の有効性を測定するための総合的なメトリクスセットを考案する。
  論文  参考訳（メタデータ） (2024-04-10T02:32:58Z)
• Towards human-like spoken dialogue generation between AI agents from written dialogue [8.4989907582951]
  本研究では,CHATS - CHATS-CHATty Agents Text-to-Speechを提案する。 本システムでは,話者側とリスナー側の両方に対して,話者側からの書き起こしのみを用いて同時に音声を生成することができる。
  論文  参考訳（メタデータ） (2023-10-02T11:03:20Z)
• SpeechX: Neural Codec Language Model as a Versatile Speech Transformer [57.82364057872905]
  SpeechX は、ゼロショット TTS と様々な音声変換タスクが可能な汎用音声生成モデルである。 実験結果から, ゼロショットTS, ノイズ抑制, ターゲット話者抽出, 音声除去, 背景雑音の有無による音声編集など, 各種タスクにおけるSpeechXの有効性が示された。
  論文  参考訳（メタデータ） (2023-08-14T01:01:19Z)
• token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.04385919645395]
  token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
  論文  参考訳（メタデータ） (2022-10-30T06:38:19Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。