論文の概要: SLM-SS: Token-Based Speech Separation with Speech Language Models

• arxiv url: http://arxiv.org/abs/2610.27785v1
• Date: Tue, 20 Oct 2026 07:50:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.70369
• Title: SLM-SS: Token-Based Speech Separation with Speech Language Models
• Title（参考訳）: SLM-SS:音声モデルを用いたトークンベース音声分離
• Abstract要約: 音声分離システムは、主に信号レベルの目的に最適化されている。 トークンベースの生成音声分離フレームワークであるSLM-SSを提案する。 Libri2Mixでは、ストーカーごとのSLM-SSがNAR 6.92%$ WERを達成し、アプローチのみの再構築を行う。
• 参考スコア（独自算出の注目度）: 47.53833940280156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech separation (SS) has witnessed substantial progress in recent years with the advent of neural network-based methods, achieving notable improvements on signal-level evaluation metrics. Existing speech separation systems are mostly optimized with signal-level objectives, and often yield outputs that are acceptable in waveform metrics but suboptimal for intelligibility-sensitive downstream tasks. To address this gap, we propose SLM-SS, a token-based generative speech separation framework that models multi-talker mixtures with speech language models. We first discretize clean speech into multi-codebook token sequences with neural codecs and serialize multi-speaker targets via Serialized Output Training (SOT). An encoder-decoder autoregressive speech language model predicts the zero-order sequence to establish speaker ordering and coarse linguistic content, and a non-autoregressive module then refines higher-order residual codebooks for efficient reconstruction. We further introduce a per-talker non-autoregressive strategy that simplifies high-order modeling and improves the stability. On Libri2Mix, SLM-SS with per-talker NAR achieves $6.92\%$ WER, approaching codec-only reconstruction. The WavTokenizer variant eliminates NAR refinement and achieves the highest mean subjective quality score among evaluated separation systems. Its UTMOS and DNSMOS advantages over discriminative baselines persist on unseen noisy and Chinese mixtures without fine-tuning.
• Abstract（参考訳）: 音声分離(SS)は、近年、ニューラルネットワークベースの手法の出現によって大幅に進歩し、信号レベルの評価指標に顕著な改善が達成されている。 既存の音声分離システムは、主に信号レベルの目的に最適化されており、波形の指標で許容される出力を出力するが、インテリジェンスに敏感な下流タスクには最適である。 このギャップに対処するため,トークンベースの生成音声分離フレームワークであるSLM-SSを提案する。 まず、クリーン音声をニューラルコーデック付きマルチコードブックトークンシーケンスに識別し、SOT(Serialized Output Training)を介してマルチ話者ターゲットをシリアライズする。 エンコーダ・デコーダ・オートレグレッシブ音声言語モデルは、話者順序付けと粗い言語内容を確立するためにゼロオーダーシーケンスを予測し、非自己回帰モジュールは、高階残留符号ブックを洗練して効率的な再構成を行う。 さらに,高次モデリングを簡略化し,安定性を向上する,ストーカーごとの非自己回帰戦略を導入する。 Libri2Mixでは、ストーカー毎のNARを持つSLM-SSが6.92\%のWERを達成し、コーデックのみの再構築に近づいている。 WavTokenizerの変種は、NARの改良を排除し、評価された分離システムの中で最高の平均主観的品質スコアを達成する。 UTMOSとDNSMOSの差別的ベースラインに対するアドバンテージは、微調整なしで、目に見えないノイズと中国の混合に留まっている。

関連論文リスト

• On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models [25.93282682937446]
  Generative Spoken Language Modeling (GSLM) は、言語モデルをトレーニングすることで、テキストフリーの音声モデリングを可能にする。 離散音声表現を用いた音声合成と継続におけるGSLMの性能について検討する。
  論文  参考訳（メタデータ） (2026-06-22T12:58:26Z)
• SLM-SS: Speech Language Model for Generative Speech Separation [47.06391017558454]
  音声分離に言語モデルを適用する新しいアプローチであるSLM-SSを提案する。 我々は,SSを個別のマルチコードブックシーケンス生成とみなし,量子化音声混合物をターゲットトークンにマッピングするコーダモデルを用いた。 提案手法は, 音声の理解度を著しく向上させ, 様々な下流課題における言語的整合性を向上させる。
  論文  参考訳（メタデータ） (2026-01-27T12:22:43Z)
• DSA-Tokenizer: Disentangled Semantic-Acoustic Tokenization via Flow Matching-based Hierarchical Fusion [28.204167153140506]
  音声トークン化器は、離散音声大言語モデルの基盤となる。 本稿では,DSA-Tokenizerを提案する。
  論文  参考訳（メタデータ） (2026-01-14T07:22:24Z)
• UniSE: A Unified Framework for Decoder-only Autoregressive LM-based Speech Enhancement [3.855026553620411]
  我々は、異なる音声強調タスクを処理するために、統一デコーダのみのLMベースのフレームワークUniSEを提案する。 入力音声特徴を条件として、ARモデリングを用いてターゲット音声の離散トークンを生成する。 実験により、提案したUniSEは差別的および生成的ベースラインと比較して競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-23T11:22:24Z)
• MARS-Sep: Multimodal-Aligned Reinforced Sound Separation [72.85468563236005]
  MARS-Sepは音分離のための強化学習フレームワークである。 クリッピングされた信頼領域サロゲートによって最適化された、ファクタライズされたベータマスクポリシを学ぶ。 複数のベンチマークの実験は、テキスト、オーディオ、イメージ-キュード分離において一貫した利得を示している。
  論文  参考訳（メタデータ） (2025-10-12T09:05:28Z)
• LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
  近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。 新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。 LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-20T04:15:14Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。