論文の概要: TokAN: Accent Normalization Using Self-Supervised Speech Tokens

• arxiv url: http://arxiv.org/abs/2607.03928v1
• Date: Sat, 04 Jul 2026 15:45:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.764596
• Title: TokAN: Accent Normalization Using Self-Supervised Speech Tokens
• Title（参考訳）: TokAN: 自己監督型音声トークンによるアクセント正規化
• Abstract要約: TokANはトークンベースのアクセント正規化フレームワークである。 自己回帰エンコーダ・デコーダモデルがトークン・ツー・トークン変換を行う。 フローマッチングシンセサイザは、変換されたトークンからメルスペクトルを復元する。
• 参考スコア（独自算出の注目度）: 34.77160718038654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accent normalization (AN) seeks to convert non-native (L2) accented speech into standard (L1) speech while preserving speaker identity. The current techniques either require naturally recorded parallel L1-L2 speech for training, or suffer from quality degradation when supervised by synthesized targets. In this paper, we present TokAN, a token-based accent normalization framework that operates on self-supervised discrete speech tokens extracted from a L1-L2 jointly trained vector-quantization (VQ) tokenizer, without the need of synthetic supervisory speech. An autoregressive encoder-decoder model performs token-to-token conversion, translating L2-accented token sequences into the tokens of standard voice. We also introduce reinforcement learning (RL) post-training based on Group Relative Policy Optimization (GRPO), using word error rate and accent classifier confidence as complementary rewards. A non-autoregressive flow-matching synthesizer recovers the Mel-spectrogram from the converted tokens, conditioned on the source speaker embedding. We also develop a flow-matching duration predictor that supports total-duration-aware synthesis, making TokAN applicable to duration-critical tasks such as voice dubbing and live casting. Experiments on seven English accents demonstrate that TokAN reduced the word error rate from 12.40% to 9.89% after supervised fine-tuning, and further to 9.23% after RL post-training, consistently outperforming frame-to-frame, direct flow-matching, and prompt-based token-conversion baselines in terms of accent reduction and intelligibility.
• Abstract（参考訳）: アクセント正規化(AN)は、非ネイティブ(L2)アクセント付き音声を話者アイデンティティを保持しながら標準(L1)音声に変換する。 現在の技術は、訓練のために自然に記録された平行L1-L2音声を必要とするか、あるいは合成目標によって監督されたときに品質劣化に悩まされる。 本稿では,L1-L2を併用したベクトル量子化(VQ)トークン化器から抽出した自己教師付き離散音声トークンを,合成監督音声を必要とせずに動作させるトークンベースのアクセント正規化フレームワークであるTokANを提案する。 自己回帰エンコーダデコーダモデルではトークンからトークンへの変換を行い、L2アクセントのトークンシーケンスを標準音声のトークンに変換する。 また,単語誤り率とアクセント分類器の信頼度を相補的な報酬として用い,グループ相対政策最適化(GRPO)に基づく強化学習(RL)後学習を導入する。 非自己回帰フローマッチングシンセサイザは、ソーススピーカ埋め込みに条件付けされた変換トークンからメルスペクトルを復元する。 また,トーカンを音声ダビングやライブキャスティングといった持続クリティカルなタスクに適用できるように,全デューレーション認識合成をサポートするフローマッチング時間予測器を開発した。 7つの英語アクセントの実験では、トカンは微調整を監督した後、単語の誤り率を12.40%から9.89%に下げ、さらにRL後の訓練では9.23%に下げた。

関連論文リスト

• Kraken: LLM-based Speech-to-Speech Translation via Low-bitrate VQ and Dual-path Source Conditioning [23.198680134627974]
  本稿では,単一層ベクトル量子化に基づく低ビットレートトークンを提案する。 このモデルをQwen3-8Bに基づいて構築し,150k時間の多言語・マルチタスク音声データを用いて学習した。
  論文  参考訳（メタデータ） (2026-09-11T16:41:22Z)
• Transcription Policy as a Latent Variable: Activating Controllable Verbatim ASR with Word-Level Timing [8.921166277011347]
  モデルが既に両方のスタイルを符号化していることを示し、その課題はアクティベーションを制御することである。 パラレルな冗長/意図された転写文字ペアで訓練されたカバレッジ対応デコーダタスクトークンを用いて、ドイツの拡散F1を10%から79%ゼロショットに引き上げる。 完全な英語のみの微調整は、動詞の精度、拡散検出、および両方の言語にわたる意図されたモードの品質において、すべてのベースラインを超えている。
  論文  参考訳（メタデータ） (2026-07-21T10:19:17Z)
• Light-weight Pronunciation Assessment via Discrete Speech Token Surprisal [10.584132982823883]
  自動発音評価の訓練は、しばしばラベル付き学習者エラーや収集にコストがかかる非ネイティブコーパスに依存している。 そこで本研究では,教師なしあるいは軽微な校正を行うために,ネイティブ音声リソースのみを訓練した軽量なフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-18T08:04:16Z)
• GenTSE: Enhancing Target Speaker Extraction via a Coarse-to-Fine Generative Language Model [35.12859489567766]
  我々は,TSEのための2段階デコーダのみのジェネレーションLMアプローチであるGenTSEを提案する。 意味論と音響学の分離は、復号化を安定化させ、より忠実で内容に整合したターゲットスピーチをもたらす。 Libri2Mixの実験は、GenTSEが従来のLMベースのシステムよりも、音声品質、知性、話者の一貫性を上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-24T06:13:02Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• INTapt: Information-Theoretic Adversarial Prompt Tuning for Enhanced Non-Native Speech Recognition [43.228070238684786]
  本稿では,自動音声認識システムにおける表現バイアスを軽減するために,インタプタ(Information Theoretic Adversarial Prompt Tuning)を提案する。 インタプタは,(1)原入力とプロンプト連結入力のアクセント特徴依存性を低減するための逆トレーニング,(2)ASR性能を向上させるためのCTC損失を最小限に抑えるトレーニング,の2つの方法で同時に訓練される。 実験の結果,インタプタはL2英語の性能を向上し,L2アクセントとL1アクセントの特徴的類似性を高めることがわかった。
  論文  参考訳（メタデータ） (2023-05-25T13:06:01Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Improved Consistency Training for Semi-Supervised Sequence-to-Sequence ASR via Speech Chain Reconstruction and Self-Transcribing [21.049557187137776]
  半教師付きS2S ASRの整合性訓練パラダイムを提案する。 音声連鎖再構成を弱い拡張として利用し,高品質な擬似ラベルを生成する。 改良されたパラダイムは、単一話者設定で12.2%のCER改善、マルチ話者設定で38.6%を実現している。
  論文  参考訳（メタデータ） (2022-05-14T04:26:13Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。