論文の概要: StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs

• arxiv url: http://arxiv.org/abs/2509.22220v1
• Date: Fri, 26 Sep 2025 11:32:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.392167
• Title: StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs
• Title（参考訳）: StableToken: 耐雑音性音声LLMのためのノイズロバストなセマンティック音声トケナイザ
• Authors: Yuhan Song, Linhao Zhang, Chuhan Wu, Aiwei Liu, Wei Jia, Houfeng Wang, Xiao Zhou,
• Abstract要約: 音声トークン化器は、意味不明な音響摂動に対して頑健ではない。 この不安定性は、脆い単一パス量子化アーキテクチャと遠い訓練信号の2つの欠陥に由来する。 コンセンサス駆動機構による安定性を実現するトークンライザであるStableTokenを紹介する。
• 参考スコア（独自算出の注目度）: 54.229363096087866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prevalent semantic speech tokenizers, designed to capture linguistic content, are surprisingly fragile. We find they are not robust to meaning-irrelevant acoustic perturbations; even at high Signal-to-Noise Ratios (SNRs) where speech is perfectly intelligible, their output token sequences can change drastically, increasing the learning burden for downstream LLMs. This instability stems from two flaws: a brittle single-path quantization architecture and a distant training signal indifferent to intermediate token stability. To address this, we introduce StableToken, a tokenizer that achieves stability through a consensus-driven mechanism. Its multi-branch architecture processes audio in parallel, and these representations are merged via a powerful bit-wise voting mechanism to form a single, stable token sequence. StableToken sets a new state-of-the-art in token stability, drastically reducing Unit Edit Distance (UED) under diverse noise conditions. This foundational stability translates directly to downstream benefits, significantly improving the robustness of SpeechLLMs on a variety of tasks.
• Abstract（参考訳）: 言語コンテンツをキャプチャするために設計された一般的なセマンティック音声トークンーは驚くほど脆弱である。 SNR(Signal-to-Noise Ratios)では、音声が完全に理解できない場合でも、その出力トークンシーケンスは大幅に変化し、下流LLMの学習負担が増大する。 この不安定性は、不安定な単一パス量子化アーキテクチャと、中間トークン安定性に無関心な遠隔トレーニング信号の2つの欠陥から生じる。 これを解決するために、コンセンサス駆動機構を通じて安定性を実現するトークンライザであるStableTokenを紹介します。 マルチブランチアーキテクチャはオーディオを並列に処理し、これらの表現は強力なビットワイド投票機構を通じてマージされ、単一の安定したトークンシーケンスを形成する。 StableTokenは、さまざまなノイズ条件下でのユニット編集距離(UED: Unit Edit Distance)を大幅に削減する、トークン安定性の最先端を新たに設定する。 この基本安定性は、下流の利点に直接変換し、様々なタスクにおけるSpeechLLMの堅牢性を大幅に向上させる。

関連論文リスト

• Semantic Fusion with Fuzzy-Membership Features for Controllable Language Modelling [0.0]
  意味融合は、トランスフォーマー言語モデル(LM)をファジィメンバーシップ機能チャネルで拡張する軽量なスキームである。 それぞれのトークンは解釈可能な特徴のベクトルで表され、値が微分可能なメンバシップ関数から次数になる。 このアプローチは、小さなオーバーヘッドのみを追加し、接続された入出力埋め込みと完全に互換性を持ち、条件付き自然言語生成のための解釈可能な経路を提供する。
  論文  参考訳（メタデータ） (2025-09-14T22:11:09Z)
• New Insights into Optimal Alignment of Acoustic and Linguistic Representations for Knowledge Transfer in ASR [30.00166986946003]
  我々は、アライメントとマッチングを検出問題とみなすために、新たな洞察を得る。 目標は、高精度で意味のある対応を識別し、言語トークンの完全なカバレッジを確保することである。 分布ミスマッチと構造的非対称性を明示的に扱う不均衡な輸送ベースアライメントモデルを提案する。
  論文  参考訳（メタデータ） (2025-09-06T05:58:52Z)
• LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
  近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。 新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。 LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-20T04:15:14Z)
• Sylber: Syllabic Embedding Representation of Speech from Raw Audio [25.703703711031178]
  クリーンでロバストな音節構造を持つ音声表現を生成する新モデルSylberを提案する。 具体的には,Syllabicの埋め込みを自己教師なしのSyllabicセグメンテーションから抽出し,自己教師付き学習フレームワークを提案する。 1) 高速で線形な音節分割アルゴリズム,2) 平均4.27トークン毎の効率的な音節トークン化,3) 効率的な音声言語モデリングに適した新しい音韻単位,である。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• Autoregressive Speech Synthesis without Vector Quantization [135.4776759536272]
  We present MELLE, a novel continuous-valued token based language modeling approach for text-to-speech synthesis (TTS)。 MELLEはテキスト条件から直接連続メル-スペクトログラムフレームを自動回帰生成する。 MELLEは、サンプリングベクトル量子化符号の固有の欠陥を回避し、ロバスト性問題を緩和する。
  論文  参考訳（メタデータ） (2024-07-11T14:36:53Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• Stable Neighbor Denoising for Source-free Domain Adaptive Segmentation [91.83820250747935]
  擬似ラベルノイズは主に不安定なサンプルに含まれており、ほとんどのピクセルの予測は自己学習中に大きく変化する。 我々は, 安定・不安定な試料を効果的に発見する, SND(Stable Neighbor Denoising)アプローチを導入する。 SNDは、様々なSFUDAセマンティックセグメンテーション設定における最先端メソッドよりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-06-10T21:44:52Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Weak-Attention Suppression For Transformer Based Speech Recognition [33.30436927415777]
  Weak-Attention Suppression (WAS) を提案する。 We demonstrate that WAS leads to consistent Word Error Rate (WER) improve over strong transformer baselines。
  論文  参考訳（メタデータ） (2020-05-18T23:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。