Fugu-MT 論文翻訳(概要): TokenMapper: A Step Toward Interoperable Speech Token Translation

論文の概要: TokenMapper: A Step Toward Interoperable Speech Token Translation

arxiv url: http://arxiv.org/abs/2609.12563v1
Date: Fri, 11 Sep 2026 08:04:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-15 07:38:31.678084
Title: TokenMapper: A Step Toward Interoperable Speech Token Translation
Title（参考訳）: TokenMapper: 相互運用可能な音声トークン翻訳に向けてのステップ
Abstract要約: TokenMapperは、音声トークン化者間で直接トークン変換を行うための方向認識フレームワークである。 GLM-4-Voice、MiMi、DualCodecの実験では、一貫したクロスモデル性能を示している。その結果,中間波形再構成を伴わないクロスモデル音声トークンの相互運用に向けた実践的なステップが得られた。
参考スコア（独自算出の注目度）: 8.31951995439269
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural audio codecs discretize speech into token sequences, but the resulting token spaces differ in vocabulary and codebook structure, preventing direct communication across models. This limitation affects applications such as conversational voice agents and speech to speech translation systems where multiple speech models must interact. As a result, transferring information between speech systems typically requires decoding to waveform audio and re-encoding with a second tokenizer, increasing latency and introducing potential information loss. To address these limitations, we present TokenMapper, a direction aware framework for direct token to token translation between heterogeneous speech tokenizers in the discrete domain. TokenMapper supports structurally mismatched token spaces, including mappings between single codebook and multi codebook representations, under a shared effective token rate. Experiments on GLM-4-Voice, MiMi and DualCodec show consistent cross model performance. Specifically, translation WER approaches native reconstructions within 2.5-6.8% absolute WER, human MOS for TokenMapper outputs ranges from 2.29 to 4.39, following the same direction level trends as UTMOS and end to end latency is reduced by 4.8-94.5% relative to waveform bridging, reaching up to 972 ms per utterance. These results provide a practical step toward cross model speech token interoperability without intermediate waveform reconstruction.
Abstract（参考訳）: ニューラルオーディオコーデックは音声をトークンシーケンスに識別するが、結果として生じるトークン空間は語彙やコードブック構造が異なるため、モデル間の直接通信が防止される。この制限は、複数の音声モデルが対話しなければならない音声翻訳システムへの会話音声エージェントや音声翻訳システムなどの応用に影響を及ぼす。結果として、音声システム間で情報を転送するには、通常、波形音声への復号化と第2のトークン化器による復号化、レイテンシの増加、潜在的な情報損失の導入が必要となる。これらの制約に対処するため、離散領域における異種音声トークン化者間のトークン変換を直接トークン化するための方向認識フレームワークであるTokenMapperを提案する。 TokenMapperは、単一のコードブックとマルチコードブック表現間のマッピングを含む、構造的にミスマッチしたトークン空間を、共有された有効トークンレートでサポートする。 GLM-4-Voice、MiMi、DualCodecの実験では、一貫したクロスモデル性能を示している。具体的には、翻訳WERは2.5-6.8%の絶対WERでネイティブな再構築に近づき、TokenMapper出力のヒトMOSは2.29から4.39の範囲で、UTMOSと同じ方向の傾向であり、終末遅延は波形ブリッジと比較して4.8-94.5%減少し、1発話あたり972msに達する。これらの結果は、中間波形再構成を伴わずに、クロスモデル音声トークンの相互運用性を実現するための実用的なステップを提供する。

関連論文リスト

Latent Speech-Text Transformer [77.01648186958381]
本稿では,LST(Latent Speech-Text Transformer)を提案する。 LSTは、音声から音声へのバニラアプローチと、データと計算制御の両方の設定におけるテキストからテキストへのベンチマークに優れています。
論文参考訳（メタデータ） (2025-10-07T17:52:08Z)
Entropy-based Coarse and Compressed Semantic Speech Representation Learning [72.18542411704347]
圧縮された意味表現を学習するためのエントロピーに基づく動的集約フレームワークを提案する。 ASR、音声からテキストへの変換、音声変換タスクの実験は、圧縮された表現が密度の高いトークンシーケンスと同等以上のパフォーマンスを示すことを示した。
論文参考訳（メタデータ） (2025-08-30T13:50:58Z)
DiffSoundStream: Efficient Speech Tokenization via Diffusion Decoding [12.05169114091718]
DiffSoundStreamは、非ストリーミングシナリオにおける音声トークン化の効率を改善するソリューションである。実験によると、毎秒50トークンのDiffSoundStreamは標準のSoundStreamモデルと同等の音声品質を実現している。
論文参考訳（メタデータ） (2025-06-27T16:23:07Z)
What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
論文参考訳（メタデータ） (2025-06-14T15:26:31Z)
DM-Codec: Distilling Multimodal Representations for Speech Tokenization [18.779159914276573]
音声モデルでは、音声のトークン化と合成が大幅に改善されている。近年,性能向上のための音響・意味トークンの統一化が試みられているが,文脈表現の重要な役割を見落としている。本研究では,(1)文脈情報を組み込んだ言語モデル(LM)誘導蒸留法,(2)LMと自己教師型音声モデル(SM)誘導蒸留技術を組み合わせた2つの新しい蒸留手法を提案する。実験の結果、DM-Codecは最先端の音声トークンモデルを大幅に上回り、WERを最大13.46%、WILを9.82%、音声品質を5.5%改善した。
論文参考訳（メタデータ） (2024-10-19T07:14:14Z)
SyllableLM: Learning Coarse Semantic Units for Speech Language Models [21.762112843104028]
本稿では,音声表現を粗い音節単位にマージする制御可能な自己教師手法を提案する。制御可能なセマンティックユニットを5Hz,60bpsで生成し,SotA incセグメンテーションとクラスタリングを行った。 SyllableLMは、トレーニング計算の30倍の削減と4倍のウォールクロック推論高速化によって、大幅な効率向上を実現している。
論文参考訳（メタデータ） (2024-10-05T04:29:55Z)
TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
論文参考訳（メタデータ） (2023-08-21T01:52:01Z)
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文参考訳（メタデータ） (2021-10-11T00:08:48Z)
Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
論文参考訳（メタデータ） (2021-02-15T15:18:59Z)
Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
論文参考訳（メタデータ） (2020-10-28T12:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。