論文の概要: Scaling Spoken Language Models with Syllabic Speech Tokenization

• arxiv url: http://arxiv.org/abs/2509.26634v1
• Date: Tue, 30 Sep 2025 17:59:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 14:45:00.244559
• Title: Scaling Spoken Language Models with Syllabic Speech Tokenization
• Title（参考訳）: Syllabic Speech Tokenization を用いた音声言語モデルのスケーリング
• Authors: Nicholas Lee, Cheol Jun Cho, Alan W Black, Gopala K. Anumanchipalli,
• Abstract要約: 音声言語モデル(SLM)は通常、SSL音声モデルから抽出された高フレームレートトークンに音声認識を行う。 近年のSSL研究は音節レベルでの音声の音響的トークン化を導入している。 Syllabicトークンは、トレーニングと推論コストを大幅に削減しながら、以前の高フレームレートトークンにマッチまたは超過することができる。
• 参考スコア（独自算出の注目度）: 17.835120807367677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spoken language models (SLMs) typically discretize speech into high-frame-rate tokens extracted from SSL speech models. As the most successful LMs are based on the Transformer architecture, processing these long token streams with self-attention is expensive, as attention scales quadratically with sequence length. A recent SSL work introduces acoustic tokenization of speech at the syllable level, which is more interpretable and potentially more scalable with significant compression in token lengths (4-5 Hz). Yet, their value for spoken language modeling is not yet fully explored. We present the first systematic study of syllabic tokenization for spoken language modeling, evaluating models on a suite of SLU benchmarks while varying training data scale. Syllabic tokens can match or surpass the previous high-frame rate tokens while significantly cutting training and inference costs, achieving more than a 2x reduction in training time and a 5x reduction in FLOPs. Our findings highlight syllable-level language modeling as a promising path to efficient long-context spoken language models.
• Abstract（参考訳）: 音声言語モデル(SLM)は通常、SSL音声モデルから抽出された高フレームレートトークンに音声認識を行う。 最も成功したLMはTransformerアーキテクチャに基づいており、長いトークンストリームを自己注意で処理することは高価である。 最近のSSL研究は、音節レベルでの音声の音響的トークン化を導入しており、より解釈可能で、トークン長(4-5Hz)が大幅に圧縮され、潜在的にスケーラブルである。 しかし、音声言語モデリングにおける彼らの価値は、まだ十分に解明されていない。 本稿では、SLUベンチマークのスイート上でのモデルの評価と、学習データ尺度の変更による、音声言語モデリングのためのSyllabicトークン化に関する最初の体系的研究について述べる。 Syllabicトークンは、トレーニングと推論コストを大幅に削減し、トレーニング時間の2倍以上の削減とFLOPの5倍の削減を実現しつつ、以前の高フレームレートトークンにマッチまたは超えることができる。 そこで本研究では,音節レベルの言語モデリングを,より効率的な長文音声言語モデルへの道のりとして強調した。

関連論文リスト

• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• Sylber: Syllabic Embedding Representation of Speech from Raw Audio [25.703703711031178]
  クリーンでロバストな音節構造を持つ音声表現を生成する新モデルSylberを提案する。 具体的には,Syllabicの埋め込みを自己教師なしのSyllabicセグメンテーションから抽出し,自己教師付き学習フレームワークを提案する。 1) 高速で線形な音節分割アルゴリズム,2) 平均4.27トークン毎の効率的な音節トークン化,3) 効率的な音声言語モデリングに適した新しい音韻単位,である。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• SyllableLM: Learning Coarse Semantic Units for Speech Language Models [21.762112843104028]
  本稿では,音声表現を粗い音節単位にマージする制御可能な自己教師手法を提案する。 制御可能なセマンティックユニットを5Hz,60bpsで生成し,SotA incセグメンテーションとクラスタリングを行った。 SyllableLMは、トレーニング計算の30倍の削減と4倍のウォールクロック推論高速化によって、大幅な効率向上を実現している。
  論文  参考訳（メタデータ） (2024-10-05T04:29:55Z)
• Scaling Properties of Speech Language Models [4.0142527158949415]
  音声言語モデル(SLM)は、テキストリソースを使わずに、生音声から言語を学ぶことを目的としている。 テキストベース大規模言語モデル(LLM)の英語習熟度を用いて,現在の手法がSLMを生成するスケールを推定する。
  論文  参考訳（メタデータ） (2024-03-31T13:30:12Z)
• M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
  本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。 非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
  論文  参考訳（メタデータ） (2022-11-02T14:54:45Z)
• Evidence of Vocal Tract Articulation in Self-Supervised Learning of Speech [15.975756437343742]
  最近の自己教師付き学習(SSL)モデルは、音声の豊かな表現を学習することが証明されている。 EMA(Electronic Articulography)による音声表現と音声軌跡を関連付けるための包括的分析を行う。 以上の結果から, SSLモデルは連続的な調音と密接に一致し, 音声SSLに関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2022-10-21T04:24:29Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。