論文の概要: NTPP: Generative Speech Language Modeling for Dual-Channel Spoken Dialogue via Next-Token-Pair Prediction

• arxiv url: http://arxiv.org/abs/2506.00975v4
• Date: Wed, 11 Jun 2025 10:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.699667
• Title: NTPP: Generative Speech Language Modeling for Dual-Channel Spoken Dialogue via Next-Token-Pair Prediction
• Title（参考訳）: NTPP:Next-Token-Pair予測によるデュアルチャネル音声対話のための生成言語モデリング
• Authors: Qichao Wang, Ziqiao Meng, Wenqian Cui, Yifei Zhang, Pengcheng Wu, Bingzhe Wu, Irwin King, Liang Chen, Peilin Zhao,
• Abstract要約: 話者に依存しない双方向音声対話学習を実現するために,新しい生成モデルパラダイムであるNext-Token-Pair Prediction(NTPP)を導入する。 提案手法であるNTPPは, ターンテイク予測, 応答コヒーレンス, 自然性の観点から, SLMの会話能力を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 59.44357187878676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the impressive capabilities of GPT-4o, there is growing interest in enabling speech language models (SLMs) to engage in natural, fluid spoken interactions with humans. Recent advancements have led to the development of several SLMs that demonstrate promising results in this area. However, current approaches have yet to fully exploit dual-channel speech data, which inherently captures the structure and dynamics of human conversation. In this work, we systematically explore the use of dual-channel speech data in the context of modern large language models, and introduce a novel generative modeling paradigm, Next-Token-Pair Prediction (NTPP), to enable speaker-independent dual-channel spoken dialogue learning using decoder-only architectures for the first time. We evaluate our approach on standard benchmarks, and empirical results show that our proposed method, NTPP, significantly improves the conversational abilities of SLMs in terms of turn-taking prediction, response coherence, and naturalness. Moreover, compared to existing methods, NTPP achieves substantially lower inference latency, highlighting its practical efficiency for real-time applications.
• Abstract（参考訳）: GPT-4oの印象的な能力に触発されて、自然言語モデル(SLM)が人間と自然に流動的な音声対話を行えるようにすることへの関心が高まっている。 近年の進歩は、この分野で有望な成果を示すいくつかのSLMの開発につながっている。 しかし、現在のアプローチでは、人間の会話の構造とダイナミクスを本質的に捉えている二重チャネル音声データを完全に活用していない。 本研究では,現代大言語モデルにおける二チャンネル音声データの利用を体系的に検討し,デコーダのみのアーキテクチャを用いた話者非依存型二チャンネル音声対話学習を実現するために,新たな生成モデルパラダイムであるNTPPを導入する。 提案手法であるNTPPは, ターンテイク予測, 応答コヒーレンス, 自然性の観点から, SLMの会話能力を大幅に向上することを示す。 さらに、NTPPは既存の手法と比較して、推論遅延を著しく小さくし、リアルタイムアプリケーションにおける実用的効率を強調している。

関連論文リスト

• GOAT-TTS: Expressive and Realistic Speech Generation via A Dual-Branch LLM [42.93855899824886]
  新たな2分岐ArchiTecture(GOAT-TTS)を用いた音声合成手法を提案する。 GOAT-TTSは音声エンコーダとプロジェクタを組み合わせて連続的な音響埋め込みをキャプチャし、パラ言語的特徴(言語、音色、感情)と意味的テキスト表現の双方向の相関を可能にする。 実験の結果,GOAT-TTSは最先端のTSモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-15T01:44:56Z)
• Yeah, Un, Oh: Continuous and Real-time Backchannel Prediction with Fine-tuning of Voice Activity Projection [24.71649541757314]
  yeah"や"oh"といった短いバックチャネルの発話は、スムーズでエンゲージメントな対話を促進する上で重要な役割を担っている。 本稿では,微調整音声活動予測モデルを用いて,リアルタイムかつ連続的なバックチャネル予測を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T11:57:56Z)
• Language Model Can Listen While Speaking [17.584201137311286]
  聴取時言語モデル (LSLM) は、聴取チャネルと発声チャネルの両方を備えたエンドツーエンドシステムである。 本研究は,既存のシステムに最小限の影響を伴って,重複通信を実現するLSLMの能力を強調した。
  論文  参考訳（メタデータ） (2024-08-05T16:47:22Z)
• Turn-taking and Backchannel Prediction with Acoustic and Large Language Model Fusion [38.78341787348164]
  大規模言語モデル(LLM)を用いたニューラル音響モデルを用いた音声対話におけるターンテイクとバックチャネル位置の連続予測手法を提案する。 Switchboardの人間と人間の会話データセットの実験は、我々のアプローチが単一のモダリティでベースラインモデルより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2024-01-26T08:59:07Z)
• Towards Joint Modeling of Dialogue Response and Speech Synthesis based on Large Language Model [8.180382743037082]
  本稿では,AI音声対話システムの構築の可能性について考察する。
  論文  参考訳（メタデータ） (2023-09-20T01:48:27Z)
• Channel-aware Decoupling Network for Multi-turn Dialogue Comprehension [81.47133615169203]
  本稿では,PrLMの逐次文脈化を超えて,発話間の包括的相互作用のための合成学習を提案する。 私たちは、モデルが対話ドメインに適応するのを助けるために、ドメイン適応型トレーニング戦略を採用しています。 実験の結果,提案手法は4つの公開ベンチマークデータセットにおいて,強力なPrLMベースラインを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-01-10T13:18:25Z)
• Back to the Future: Bidirectional Information Decoupling Network for Multi-turn Dialogue Modeling [80.51094098799736]
  ユニバーサル対話エンコーダとして双方向情報デカップリングネットワーク(BiDeN)を提案する。 BiDeNは過去と将来の両方のコンテキストを明示的に取り入れており、幅広い対話関連のタスクに一般化することができる。 異なる下流タスクのデータセットに対する実験結果は、我々のBiDeNの普遍性と有効性を示している。
  論文  参考訳（メタデータ） (2022-04-18T03:51:46Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)
• Video-Grounded Dialogues with Pretrained Generation Language Models [88.15419265622748]
  我々は、ビデオ地上対話を改善するために、事前学習された言語モデルのパワーを利用する。 本稿では,シーケンス・ツー・グラウンドの対話タスクを,シーケンス・トゥ・グラウンドのタスクとして定式化するフレームワークを提案する。 我々のフレームワークは、微調整の言語モデルで複数のモダリティにまたがる依存関係をキャプチャできる。
  論文  参考訳（メタデータ） (2020-06-27T08:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。