論文の概要: SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation

• arxiv url: http://arxiv.org/abs/2411.18138v1
• Date: Wed, 27 Nov 2024 08:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:28:08.012390
• Title: SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation
• Title（参考訳）: SALMONN-Omni:全二重音声理解・生成のためのコーデックフリーLLM
• Authors: Wenyi Yu, Siyin Wang, Xiaoyu Yang, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Guangzhi Sun, Lu Lu, Yuxuan Wang, Chao Zhang,
• Abstract要約: SALMON-Omni(サルモン・オムニ)は、発話中に発声した音声を同時に聴くことができる音声理解・生成モデルである。 SALMON-Omniは、ターンテイキング、バージイン、エコーキャンセルのシナリオの管理に長けており、完全な対話型AIシステムの堅牢なプロトタイプとしての可能性を確立している。
• 参考スコア（独自算出の注目度）: 17.56310064245171
• License:
• Abstract: Full-duplex multimodal large language models (LLMs) provide a unified framework for addressing diverse speech understanding and generation tasks, enabling more natural and seamless human-machine conversations. Unlike traditional modularised conversational AI systems, which separate speech recognition, understanding, and text-to-speech generation into distinct components, multimodal LLMs operate as single end-to-end models. This streamlined design eliminates error propagation across components and fully leverages the rich non-verbal information embedded in input speech signals. We introduce SALMONN-omni, a codec-free, full-duplex speech understanding and generation model capable of simultaneously listening to its own generated speech and background sounds while speaking. To support this capability, we propose a novel duplex spoken dialogue framework incorporating a ``thinking'' mechanism that facilitates asynchronous text and speech generation relying on embeddings instead of codecs (quantized speech and audio tokens). Experimental results demonstrate SALMONN-omni's versatility across a broad range of streaming speech tasks, including speech recognition, speech enhancement, and spoken question answering. Additionally, SALMONN-omni excels at managing turn-taking, barge-in, and echo cancellation scenarios, establishing its potential as a robust prototype for full-duplex conversational AI systems. To the best of our knowledge, SALMONN-omni is the first codec-free model of its kind. A full technical report along with model checkpoints will be released soon.
• Abstract（参考訳）: LLM(Full-duplex multimodal large language model)は、多様な音声理解と生成タスクに対処するための統一されたフレームワークを提供する。 音声認識、理解、テキスト音声生成を別々のコンポーネントに分離する従来のモジュール化された会話AIシステムとは異なり、マルチモーダルLLMは単一のエンドツーエンドモデルとして動作する。 この合理化設計は、コンポーネント間のエラー伝搬を排除し、入力音声信号に埋め込まれたリッチな非言語情報を完全に活用する。 SALMONN-Omniは、コーデックのないフル二重音声理解・生成モデルであり、発話中に生成した音声と背景音を同時に聴くことができる。 そこで本稿では,コーデック(量子化音声・音声トークン)の代わりに埋め込みに頼って,非同期テキストや音声生成を容易にする 'thinking' 機構を組み込んだ新しい二重音声対話フレームワークを提案する。 実験により,SALMONN-Omniの汎用性は,音声認識,音声強調,音声質問応答など,幅広いストリーミング音声タスクにまたがることが示された。 さらに、SALMONN-omniはターンテイキング、バージイン、エコーキャンセルのシナリオの管理に優れており、完全な二重会話型AIシステムの堅牢なプロトタイプとしての可能性を確立している。 我々の知る限りでは、SALMONN-Omniはその種類のコーデックフリーモデルとしては初めてのものである。 モデルチェックポイントとともに、完全な技術レポートがまもなくリリースされる予定だ。

関連論文リスト

• OpenOmni: Large Language Models Pivot Zero-shot Omnimodal Alignment across Language with Real-time Self-Aware Emotional Speech Synthesis [68.73476738779628]
  両モードアライメントと音声生成を組み合わせた2段階学習手法であるopenomniを提案する。 実験により、openomniは全言語、視覚言語、言語評価において一貫して改善されていることが示された。
  論文  参考訳（メタデータ） (2025-01-08T15:18:09Z)
• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• Language Model Can Listen While Speaking [17.584201137311286]
  聴取時言語モデル (LSLM) は、聴取チャネルと発声チャネルの両方を備えたエンドツーエンドシステムである。 本研究は,既存のシステムに最小限の影響を伴って,重複通信を実現するLSLMの能力を強調した。
  論文  参考訳（メタデータ） (2024-08-05T16:47:22Z)
• Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer [39.31849739010572]
  textbfGenerative textbfPre-trained textbfSpeech textbfTransformer (GPST)を紹介する。 GPSTは効率的な音声言語モデリングのために設計された階層変換器である。
  論文  参考訳（メタデータ） (2024-06-03T04:16:30Z)
• SALMONN: Towards Generic Hearing Abilities for Large Language Models [24.73033723114979]
  音声音声言語音楽オープンニューラルネットワークSALMONNを提案する。 事前訓練されたテキストベースの大規模言語モデル(LLM)と音声および音声エンコーダを単一のマルチモーダルモデルに統合することによって構築される。 これは、そのタイプの最初のモデルであり、汎用的な聴覚能力を持つAIへのステップと見なすことができる。
  論文  参考訳（メタデータ） (2023-10-20T05:41:57Z)
• SpeechX: Neural Codec Language Model as a Versatile Speech Transformer [57.82364057872905]
  SpeechX は、ゼロショット TTS と様々な音声変換タスクが可能な汎用音声生成モデルである。 実験結果から, ゼロショットTS, ノイズ抑制, ターゲット話者抽出, 音声除去, 背景雑音の有無による音声編集など, 各種タスクにおけるSpeechXの有効性が示された。
  論文  参考訳（メタデータ） (2023-08-14T01:01:19Z)
• On decoder-only architecture for speech-to-text and large language model integration [59.49886892602309]
  Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。 我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-07-08T06:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。