論文の概要: Learning Natural Conversational Behavior in Tandem Speech-to-Speech Models with Randomized Guidance

• arxiv url: http://arxiv.org/abs/2609.30773v1
• Date: Fri, 25 Sep 2026 03:55:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.224141
• Title: Learning Natural Conversational Behavior in Tandem Speech-to-Speech Models with Randomized Guidance
• Title（参考訳）: ランダム化誘導によるタンデム音声音声合成モデルにおける自然な会話行動の学習
• Abstract要約: タンデム音声音声合成アーキテクチャは、応答性のある音声と非同期テキストバックエンドを結合する。 KAMEでは、大きな言語モデル(LLM)がバックエンドとして機能し、音声へのガイダンスとして候補応答を提供する。 本稿では,会話コーパスから直接導出するランダム化中間ガイダンスを提案する。
• 参考スコア（独自算出の注目度）: 2.774897240515734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tandem speech-to-speech architectures couple a responsive speech frontend with an asynchronous text backend. In KAME, a large language model (LLM) serves as the backend, supplying candidate responses as guidance to the speech frontend while the user is still speaking. Ordinary conversation recordings capture the eventual response but not the guidance the backend would supply during the user's utterance. Generating the missing guidance with a simulator LLM adds substantial data-preparation overhead when training on real conversations. We propose randomized intermediate guidance, which derives guidance directly from the conversation corpus rather than simulating backend LLM behavior. During training, target responses provide informative guidance, while randomly sampled responses provide potentially irrelevant updates during the utterance. This combination aims to teach the frontend to use backend information selectively. On synthetic dialogues, KAME trained with this recipe achieves response quality comparable to that of the LLM-generated and similarity-based baselines. Training on 3.8k hours of real conversations improves smooth turn-taking and audio-judge naturalness over synthetic-data KAME while retaining a response-quality advantage over Moshi. These results show that randomized guidance offers a practical route to combining the response-quality benefits of tandem models with natural conversational behavior learned from real speech.
• Abstract（参考訳）: タンデム音声音声合成アーキテクチャは、応答性のある音声フロントエンドと非同期テキストバックエンドを結合する。 KAMEでは、大きな言語モデル(LLM)がバックエンドとして機能し、ユーザが話している間、スピーチフロントエンドへのガイダンスとして候補応答を提供する。 通常の会話記録は、最終的な応答をキャプチャするが、ユーザの発話中にバックエンドが提供してくれるガイダンスではない。 シミュレータLDMで不足したガイダンスを生成すると、実際の会話のトレーニング時にかなりのデータ準備オーバーヘッドが生じる。 そこで本稿では,LLMのバックエンド動作をシミュレーションするのではなく,会話コーパスから直接指導を行うランダム化中間ガイダンスを提案する。 トレーニング中、ターゲット応答は情報的ガイダンスを提供するが、ランダムにサンプリングされた応答は発話中に潜在的に無関係な更新を提供する。 この組み合わせの目的は、バックエンド情報を選択的に使用するようにフロントエンドに教えることである。 合成対話において、このレシピで訓練されたKAMEは、LLMの生成した類似性に基づくベースラインに匹敵する応答品質を達成する。 実会話3.8k時間でのトレーニングは、合成データKAMEよりもスムーズなターンテイクとオーディオジャッジ自然性を向上するとともに、モシに対する応答品質の優位性を維持している。 これらの結果から, ランダム化誘導は, タンデムモデルの応答品質の利点と, 実音声から学習した自然な会話行動とを併用する実用的な方法であることがわかった。

関連論文リスト

• Decoupling Turn-Taking from Semantics: A Decoupled Data Approach for Finite-State-Machine-Based Full-Duplex Dialogue [23.813275217960093]
  大規模モデル(LLM)は、実際の人間の対話の微細な音波時間ダイナミクスを忠実にシミュレートすることはできない。 本稿では,Human-Human (HH)音声対話から,意味的Human-Human-Human (HH)音声対話を学習し,意味的Human-Human-Human (HH)音声対話を通して行動を形成する疎結合型データアプローチを提案する。
  論文  参考訳（メタデータ） (2026-09-03T03:17:07Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• OmniResponse: Online Multimodal Conversational Response Generation in Dyadic Interactions [62.19092662469285]
  Online Multimodal Conversational Response Generation (OMCRG) は、オンラインの音声と非言語からのフィードバックを同時生成する新しいタスクである。 我々は,OmniResponseを提案する。OmniResponseはマルチモーダル大言語モデル(MLLM)であり,正確なマルチモーダルリスナー応答を自動回帰的に生成する。 ResponseNetは、696の詳細なダイアディックインタラクションのデータセットで、同期化された分割画面ビデオ、マルチチャンネルオーディオ、トランスクリプト、注釈付き顔行動が特徴です。
  論文  参考訳（メタデータ） (2025-05-27T20:12:46Z)
• TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [46.60911294356232]
  本稿では,テキスト適応型音声トークン化と埋め込み(TASTE)を導入し,トークン化段階における音声トークンと対応するテキストの書き起こしを一致させる。 我々は広範囲な実験を行い、TASTEはトークン列の長さを劇的に減らしながら重要なパラ言語情報を保持することができることを示す。 実験の結果,TASTEを用いたSLMはSALMONやStoryClozeに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-09T17:14:33Z)
• IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities [55.11130688075417]
  IntrinsicVoicは、本質的なリアルタイム音声対話機能を備えたLLMである。 我々の新規アーキテクチャであるGroupFormerは、テキストシーケンスに匹敵する長さまで音声シーケンスを削減できる。 我々は,500k近い音声対音声対話を含む,メソッド500kというマルチターン音声対音声対話データセットを構築した。
  論文  参考訳（メタデータ） (2024-10-09T05:04:31Z)
• Recent Advances in Speech Language Models: A Survey [45.968078636811356]
  音声言語モデル(SpeechLMs)は、テキストから変換することなく音声を生成するエンドツーエンドモデルである。 本稿では,近年のSpeechLM構築手法について概観する。
  論文  参考訳（メタデータ） (2024-10-01T21:48:12Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• Instruction-Following Speech Recognition [21.591086644665197]
  本稿では,命令追従音声認識を導入し,多様な自由形式のテキスト命令の理解と実行を行うリステン・アテンド・スペルモデルを訓練する。 注目すべきは、我々のモデルは、Librispeechでゼロから訓練され、大規模言語モデルや事前訓練された音声モジュールを必要とせずに、簡単な命令を解釈し、実行します。
  論文  参考訳（メタデータ） (2023-09-18T14:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。