論文の概要: Distilling Text LMs into Speech-to-Speech LMs by Matching Internal Text Predictions

• arxiv url: http://arxiv.org/abs/2610.17461v1
• Date: Mon, 12 Oct 2026 22:20:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 18:48:57.412374
• Title: Distilling Text LMs into Speech-to-Speech LMs by Matching Internal Text Predictions
• Title（参考訳）: 内部テキスト予測のマッチングによるテキストLMの音声合成
• Abstract要約: 本稿では,知識伝達のための内部テキストインタフェースを作成する音声から音声への事前学習手法を提案する。 モデルはまず、書き起こしなしで音声コンテキストを消費し、テキスト予測に切り替え、予測されたテキストを使用して、将来的な音声生成語を単語単位で導く。 我々の知る限りでは、これはテキストLM蒸留を音声から音声へのLMに初めて適用した例である。
• 参考スコア（独自算出の注目度）: 22.8588553114451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text language models (LMs) acquire broad linguistic and factual capabilities through large-scale pretraining, while comparable capabilities remain difficult to learn from speech alone. Recent work has shown that knowledge distillation from pretrained text LMs offers a promising way to transfer their linguistic and factual capabilities to speech models. However, existing distillation approaches have largely focused on speech-input, text-output models. This idea has yet to be explored for {\it speech-to-speech} models, which operate on both speech input and speech output. In this work we introduce a speech-to-speech pretraining method that creates an internal text interface for knowledge transfer while preserving the speech-only input and output. The model first consumes speech context without its transcription, switches to text prediction, and then uses the predicted text to lead future speech generation word by word. It also provides an interface for knowledge distillation: the internal text predictions can be directly distilled from the base text LM. To the best of our knowledge, this is the first application of text LM distillation to a speech-to-speech LM. Under matched training conditions, the proposed sequence construction substantially improves the generative perplexity of spoken continuations over speech-only and interleaved speech-text models, approaching the performance of a text-leading inner-monologue model with external ASR prompt transcription. More importantly, distillation improves factual performance under both text and speech evaluation, indicating better retention of knowledge from the base text language model.
• Abstract（参考訳）: テキスト言語モデル(LM)は、大規模事前学習を通じて幅広い言語的・事実的能力を取得するが、それと同等の能力は音声単独で学ぶことは困難である。 近年の研究では、事前訓練されたテキストLMからの知識蒸留が、言語的および事実的能力を音声モデルに伝達する有望な方法であることが示された。 しかし、既存の蒸留法は、主に音声入力、テキスト出力モデルに焦点を当てている。 このアイデアは、音声入力と音声出力の両方で動作する、音声音声合成モデルについてはまだ検討されていない。 本研究では,音声のみの入力と出力を保存しながら,知識伝達のための内部テキストインターフェースを作成する音声から音声への事前学習手法を提案する。 モデルはまず、書き起こしなしで音声コンテキストを消費し、テキスト予測に切り替え、予測されたテキストを使用して、将来的な音声生成語を単語単位で導く。 内部テキスト予測は、基本テキストLMから直接蒸留することができる。 我々の知る限りでは、これはテキストLM蒸留を音声から音声へのLMに初めて適用した例である。 一致した訓練条件下では、提案したシーケンス構成は、音声のみおよびインターリーブされた音声テキストモデルに対する音声継続の生成的複雑度を大幅に改善し、外部のASRプロンプトによるテキストリードインナーモノローグモデルの性能にアプローチする。 さらに重要なことは、蒸留はテキスト評価と音声評価の両方の下での事実的性能を改善し、基礎となるテキスト言語モデルからの知識の保持性の向上を示すことである。

関連論文リスト

• Interleaved Speech Language Models Latently Work In Text [30.782751292766545]
  音声言語モデル(SLM)は、テキストデータと事前学習されたテキストLMを組み込んだ共通パラダイムを用いて、広範囲に研究されている。 しかし、これらの2つのモダリティがモデル潜在空間の中でどのように相互作用するかは、まだ不明である。 我々は、ロジットレンズのスコープを通して、異なるモデルファミリとサイズからインターリーブされた音声テキストLMを分析し、そのような洞察を提供する。
  論文  参考訳（メタデータ） (2026-06-21T12:33:44Z)
• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models [70.56468982313834]
  本稿では,韻律学習に適した単純なトークン化方式であるProsodyLMを提案する。 ProsodyLMは事前学習だけで驚くほど多様なプロソディ処理能力を学習できることがわかった。
  論文  参考訳（メタデータ） (2025-07-27T00:59:01Z)
• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• Adaptive Knowledge Distillation between Text and Speech Pre-trained Models [30.125690848883455]
  先行インフォームド・アダプティブ・ナレッジ蒸留(PAD)は他のメートル法に基づく蒸留法よりも言語知識の伝達に効果的である。 本稿では,テキストと音声の埋め込み空間を少量のデータで整列させるため,メートル法に基づく蒸留について検討する。 我々は,3つの音声言語理解ベンチマークを用いて,PADが他のメートル法に基づく蒸留法よりも言語知識の伝達に有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-07T02:31:57Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• Unified Speech-Text Pre-training for Speech Translation and Recognition [113.31415771943162]
  音声認識のためのエンコーダ・デコーダ・モデリング・フレームワークにおいて,音声とテキストを協調的に事前学習する手法について述べる。 提案手法は,4つの自己教師付きサブタスクを組み込んだクロスモーダル学習手法である。 MuST-C音声翻訳データセットの最先端よりも1.7から2.3BLEUの改善が達成されている。
  論文  参考訳（メタデータ） (2022-04-11T20:59:51Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。