論文の概要: DSA-Tokenizer: Disentangled Semantic-Acoustic Tokenization via Flow Matching-based Hierarchical Fusion

• arxiv url: http://arxiv.org/abs/2601.09239v2
• Date: Thu, 15 Jan 2026 04:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 14:30:44.04283
• Title: DSA-Tokenizer: Disentangled Semantic-Acoustic Tokenization via Flow Matching-based Hierarchical Fusion
• Title（参考訳）: DSA-Tokenizer:フローマッチングに基づく階層型融合によるアンタングル・セマンティック・アコスティック・トークン化
• Authors: Hanlin Zhang, Daxin Tan, Dehua Tao, Xiao Chen, Haochen Tan, Yunhe Li, Yuchen Cao, Jianping Wang, Linqi Song,
• Abstract要約: 音声トークン化器は、離散音声大言語モデルの基盤となる。 本稿では,DSA-Tokenizerを提案する。
• 参考スコア（独自算出の注目度）: 28.204167153140506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech tokenizers serve as the cornerstone of discrete Speech Large Language Models (Speech LLMs). Existing tokenizers either prioritize semantic encoding, fuse semantic content with acoustic style inseparably, or achieve incomplete semantic-acoustic disentanglement. To achieve better disentanglement, we propose DSA-Tokenizer, which explicitly disentangles speech into discrete semantic and acoustic tokens via distinct optimization constraints. Specifically, semantic tokens are supervised by ASR to capture linguistic content, while acoustic tokens focus on mel-spectrograms restoration to encode style. To eliminate rigid length constraints between the two sequences, we introduce a hierarchical Flow-Matching decoder that further improve speech generation quality. Furthermore, We employ a joint reconstruction-recombination training strategy to enforce this separation. DSA-Tokenizer enables high fidelity reconstruction and flexible recombination through robust disentanglement, facilitating controllable generation in speech LLMs. Our analysis highlights disentangled tokenization as a pivotal paradigm for future speech modeling. Audio samples are avaialble at https://anonymous.4open.science/w/DSA_Tokenizer_demo/. The code and model will be made publicly available after the paper has been accepted.
• Abstract（参考訳）: 音声トークンーは、離散音声大言語モデル(Speech LLMs)の基盤となる。 既存のトークンライザは、セマンティックエンコーディングを優先するか、音響スタイルでセマンティックコンテンツを分離するか、あるいは不完全なセマンティック・アコースティック・アンタングメントを実現する。 そこで我々は,DSA-Tokenizerを提案する。DSA-Tokenizerは,音声を個別の意味的および音響的トークンに分解する。 具体的には、意味トークンは言語コンテンツをキャプチャするためにASRによって管理され、音響トークンはメル・スペクトログラムの復元に焦点が当てられている。 2つのシーケンス間の厳密な長さ制約を排除するため、音声生成品質をさらに向上する階層型フローマッチングデコーダを導入する。 さらに, この分離を強制するために, 共同再建・組換え訓練戦略を採用する。 DSA-Tokenizerは、高忠実度再構成と頑健な非絡み合いによる柔軟な組換えを可能にし、音声LLMにおける制御可能な生成を容易にする。 本分析では, 将来的な音声モデリングのパラダイムとして, 不整合トークン化が注目されている。 オーディオサンプルはhttps://anonymous.4open.science/w/DSA_Tokenizer_demo/にある。 コードとモデルは、論文が受け入れられた後、公開されます。

関連論文リスト

• LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
  近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。 新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。 LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-20T04:15:14Z)
• DC-Spin: A Speaker-invariant Speech Tokenizer for Spoken Language Models [45.791472119671916]
  音声言語モデル(SLM)はテキストと音声を処理し、同時に音声の理解と生成を可能にする。 DC-Spinは音声信号とSLMトークンをブリッジすることで音声のトークン化を改善することを目的としている。 本稿では,再学習や劣化を伴わずに,ストリーム可能なDC-Spinを実現するためのチャンクワイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T17:43:13Z)
• dMel: Speech Tokenization made Simple [16.679015298503593]
  そこで本研究では,メルフィルタバンクチャネルを離散化した新しい音声表現(dmel)を提案する。 提案手法は, 音声コンテンツの保存, ドメイン外データの堅牢性, 学習自由, 自然, ストリーム可能な表現の両面において, 優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-22T17:51:53Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• SpeechTokenizer: Unified Speech Tokenizer for Speech Large Language Models [58.996653700982556]
  既存の音声トークンは、特に音声言語モデリングのために設計されていない。 音声大言語モデルのための統一型音声トークンであるSpeechTokenizerを提案する。 実験により,SpeechTokenizerは音声再構成においてEnCodecと相容れない性能を示し,SLMTokBenchベンチマークで強い性能を示す。
  論文  参考訳（メタデータ） (2023-08-31T12:53:09Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。