論文の概要: Latent Speech-Text Transformer

• arxiv url: http://arxiv.org/abs/2510.06195v1
• Date: Tue, 07 Oct 2025 17:52:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.405477
• Title: Latent Speech-Text Transformer
• Title（参考訳）: 音声テキスト変換器
• Authors: Yen-Ju Lu, Yashesh Gaur, Wei Zhou, Benjamin Muller, Jesus Villalba, Najim Dehak, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Srinivasan Iyer, Duc Le,
• Abstract要約: 本稿では,LST(Latent Speech-Text Transformer)を提案する。 LSTは、音声から音声へのバニラアプローチと、データと計算制御の両方の設定におけるテキストからテキストへのベンチマークに優れています。
• 参考スコア（独自算出の注目度）: 77.01648186958381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auto-regressive speech-text models are typically pre-trained on a large number of interleaved sequences of text tokens and raw speech encoded as speech tokens using vector quantization. These models have demonstrated state-of-the-art performance in speech-to-speech understanding and generation benchmarks, together with promising scaling laws, primarily enabled by the representational alignment between text and speech. Nevertheless, they suffer from shortcomings, partly owing to the disproportionately longer sequences of speech tokens in contrast to textual tokens. This results in a large compute imbalance between modalities during pre-training as well as during inference, and a potential hindrance to effectively aligning speech and text, ultimately translating to several orders of magnitude slower scaling laws. We introduce the Latent Speech-Text Transformer (LST), which makes pre-training speech-text models more data-efficient by dynamically and inexpensively aggregating speech tokens into latent speech patches. These patches serve as higher-level units that can either align with corresponding textual units to aid capability transfer or even encapsulate common speech sequences like silences to be more compute-efficient. We show that LST outperforms vanilla approaches on speech-to-speech as well as text-to-text benchmarks in both data- and compute-controlled settings, the former indicating more effective representational alignment and the latter indicating steeper scaling laws for speech-text models. On HellaSwag story completion, LST achieves 6.5% absolute gain in speech accuracy under compute-controlled training and 5.3% under data-controlled training, while also improving text performance. We will release our models, code, and the evaluation data to facilitate further research.
• Abstract（参考訳）: 自動回帰音声テキストモデルは通常、ベクトル量子化を用いた音声トークンとして符号化されたテキストトークンと生音声の多数のインターリーブされたシーケンスで事前訓練される。 これらのモデルは、音声から音声への理解と生成のベンチマークにおける最先端性能と、主にテキストと音声の表現的アライメントによって実現される有望なスケーリング法則を示してきた。 それでも、テキストトークンとは対照的に、不均等に長い音声トークン列のため、欠点に悩まされている。 この結果,事前学習時のモーダルリティと推論時の計算不均衡が大きくなり,音声とテキストを効果的に整列させる潜在的な障害が生じ,最終的に数桁のスケール法則に変換される。 本稿では,LST(Latent Speech-Text Transformer)を導入し,遅延音声パッチに音声トークンを動的かつ安価に集約することにより,事前学習した音声テキストモデルをデータ効率を高める。 これらのパッチは、機能伝達を助けるために対応するテキスト単位と整合する高レベルユニットとして機能し、サイレンスのような一般的な音声シーケンスをカプセル化することでより計算効率が良い。 LSTは、音声合成とテキスト・テキスト・ベンチマークにおいて、より効果的な表現アライメントを示し、後者は音声テキストモデルに対するより急激なスケーリング法則を示す。 HellaSwagのストーリーコンプリートでは、LSTは計算制御トレーニングでは6.5%、データ制御トレーニングでは5.3%、テキストパフォーマンスも改善している。 我々は、さらなる研究を促進するために、モデル、コード、評価データをリリースします。

関連論文リスト

• Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs [41.088390995105826]
  音声音声翻訳 (S2ST) は大規模言語モデル (LLM) で進歩している。 LLMはテキストのみのデータに基づいて訓練され、音声から音声への限られたデータで、それらに適応するための課題が提示される。 本研究では,本研究における音声教育の予定について述べる。
  論文  参考訳（メタデータ） (2025-06-12T02:24:44Z)
• Scaling Speech-Text Pre-training with Synthetic Interleaved Data [31.77653849518526]
  音声言語モデル(SpeechLM)は音声入力を受け入れ、音声出力を生成し、より自然な人間とコンピュータの相互作用を可能にする。 従来のSpeechLMの開発手法は、教師なし音声データとパラレル音声テキストデータの可用性の制限によって制約されている。 本稿では,テキストコーパスから得られた大規模合成インターリーブデータを活用することによって,音声テキスト事前学習のスケールアップを行う手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T17:19:09Z)
• token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.04385919645395]
  token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
  論文  参考訳（メタデータ） (2022-10-30T06:38:19Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。