論文の概要: GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling

• arxiv url: http://arxiv.org/abs/2611.01143v1
• Date: Sat, 31 Oct 2026 17:31:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.45404
• Title: GSLM2: Multi-Stream Speech Representation Learning and Generative Spoken Language Modeling
• Title（参考訳）: GSLM2:マルチストリーム音声表現学習と生成音声言語モデリング
• Abstract要約: 生成言語モデル(SLM)は、純粋に音声から言語構造を学ぶための経路を提供する。 彼らは、能力とデータのスケーリング効率の両方において、テキストベースのモデルに遅れを取っている。 本稿では,複数の抽象化レベルにおける音声の相補的特性を学習し,モデル化するGSLM2を提案する。
• 参考スコア（独自算出の注目度）: 54.11819285847506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative spoken language models (SLMs) offer a route to learning linguistic structure purely from speech, yet they lag far behind text-based models in both capability and data scaling efficiency. We identify two bottlenecks underlying this gap: the limited linguistic quality of existing speech units and the reliance on a single stream of discrete units to represent speech. Multiple codebooks are widely used to encode acoustic features but rarely to represent speech semantics. We present GSLM2, which learns and models complementary properties of speech at multiple levels of abstraction. Its encoder, SpidR 2.0, uses self-supervised learning with differentiable prediction heads to induce high-quality discrete units at multiple levels. A multi-stream SLM then jointly models these units using a shared temporal backbone, stream-specific predictors, and an autoregressive head that captures cross-stream dependencies. Across training data sizes and model scales, up to 6M hours and 6.5B parameters, GSLM2 consistently improves linguistic competence while scaling more efficiently with data. As a result, it substantially narrows the gap between spoken and text-based LMs; across read and conversational speech domains, we shrink the gap by about two orders of magnitude on sWuggy, sBLIMP, and tSC, while also outperforming competitive speech-text systems on all three tasks. We open-source the training code and model checkpoints at https://github.com/facebookresearch/gslm2.
• Abstract（参考訳）: 生成音声言語モデル(SLM)は、純粋に音声から言語構造を学ぶための経路を提供するが、能力とデータのスケーリング効率の両方において、テキストベースのモデルよりもはるかに遅れている。 このギャップの根底にある2つのボトルネックは、既存の音声単位の言語的品質の制限と、音声を表現するために単一の単位列に依存することである。 複数のコードブックは音響的特徴を符号化するために広く使われているが、音声意味論を表現するためにはほとんど使われていない。 本稿では,複数の抽象化レベルにおける音声の相補的特性を学習し,モデル化するGSLM2を提案する。 エンコーダのSpedR 2.0は、異なる予測ヘッドを持つ自己教師付き学習を使用して、高品質な離散ユニットを複数のレベルで誘導する。 マルチストリームSLMは、共有時間バックボーン、ストリーム固有の予測器、およびストリーム間の依存関係をキャプチャする自己回帰ヘッドを使用して、これらのユニットを共同でモデル化する。 データサイズとモデルスケールを最大6M時間と6.5Bパラメータでトレーニングすることで、GSLM2は一貫して言語能力を改善しながら、データでより効率的にスケーリングする。 その結果,SWuggy, sBLIMP, tSCにおいて, 読み書き音声領域と会話音声領域の2桁程度の間隔を縮めるとともに, 3つのタスクにおいて, 競合する音声テキストシステムよりも優れることがわかった。 私たちはトレーニングコードとモデルチェックポイントをhttps://github.com/facebookresearch/gslm2.comでオープンソース化しました。

関連論文リスト

• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• SyllableLM: Learning Coarse Semantic Units for Speech Language Models [21.762112843104028]
  本稿では,音声表現を粗い音節単位にマージする制御可能な自己教師手法を提案する。 制御可能なセマンティックユニットを5Hz,60bpsで生成し,SotA incセグメンテーションとクラスタリングを行った。 SyllableLMは、トレーニング計算の30倍の削減と4倍のウォールクロック推論高速化によって、大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2024-10-05T04:29:55Z)
• Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer [39.31849739010572]
  textbfGenerative textbfPre-trained textbfSpeech textbfTransformer (GPST)を紹介する。 GPSTは効率的な音声言語モデリングのために設計された階層変換器である。
  論文  参考訳（メタデータ） (2024-06-03T04:16:30Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。