論文の概要: Synthetic-to-Real Code-Switched ASR: A Spontaneous Nepali-English Podcast Benchmark

• arxiv url: http://arxiv.org/abs/2610.30860v1
• Date: Thu, 22 Oct 2026 07:41:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.271402
• Title: Synthetic-to-Real Code-Switched ASR: A Spontaneous Nepali-English Podcast Benchmark
• Title（参考訳）: Synthetic-to-Real Code-Switched ASR:Spontaneous Nepali- English Podcast Benchmark
• Abstract要約: ネパール英語のコードスイッチによる会話音声は、音声認識において深刻な課題を呈している。 我々は、13,044の自発ポッドキャスト発話のベンチマークをキュレートする。 我々は、合成SFTが、自然発声音声への一次クロスドメイン転送を提供することを発見した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nepali-English code-switched conversational speech presents severe challenges for automatic speech recognition (ASR), chiefly through script confusion (inappropriate mixing of Devanagari and Latin orthography) and elevated error rates at language switch points. Supervised fine-tuning (SFT) can adapt multilingual foundation models, but human code-switched audio is expensive to collect and annotate. We curate a new benchmark of 13,044 spontaneous podcast utterances (15.45 h total; 10,214 test, 2,830 dev), audited and verified to eliminate machine translation leakages and acoustic loops. We investigate a two-stage synthetic-to-real adaptation framework: Stage 1 applies SFT on 0.95 h of speech synthesized via a multi-speaker, dual-engine TTS pipeline; Stage 2 explores Group Relative Policy Optimization (GRPO) with transcription and script rewards. We find that synthetic SFT provides the primary cross-domain transfer to spontaneous human speech, reducing Mixed Error Rate (MER) from 23.40% to 21.52% (-1.88 pp) and switch-point error rate (SPER) from 35.89% to 28.77% (-7.12 pp). Subsequent GRPO yields small, statistically significant adjustments on 173 test utterances (1.69%), driving English script confusion (SCR_en) from 6.45% to 6.36% (p <= 0.001) and SPER to 28.70% (p = 0.022 clustered). Crucially, ablation reveals that in this SFT-converged encoder-decoder setting, an auxiliary script reward term yields performance identical to MER-only optimization because rollout candidate groups exhibit near-zero script variance on synthetic data. On monolingual benchmarks, SFT improves Nepali MER by 2.71 pp (stabilizing at 18.42% after GRPO, a 2.38 pp gain over baseline) while preserving English lexical WER (3.38% vs. 3.33%). Verified transcripts, timestamps, episode metadata, and reconstruction scripts are publicly released.
• Abstract（参考訳）: ネパール英語のコードスイッチによる会話音声は、主にスクリプトの混乱(デヴァナガリとラテン文字の正書法を不適切な混合)と言語スイッチポイントでの誤り率の上昇を通じて、自動音声認識(ASR)の深刻な課題を提示する。 Supervised Fine-tuning (SFT) は多言語基盤モデルに適応することができるが、人間のコード変更によるオーディオは収集と注釈に費用がかかる。 我々は13,044件の自発ポッドキャスト発声(計15.45時間、計10,214件、計2,830件)を検査し、機械翻訳の漏れや音響ループを除去するために検証した。 ステージ1は、マルチスピーカー、デュアルエンジンTTSパイプラインを介して合成された音声の0.95hにSFTを適用し、ステージ2は、書き起こしとスクリプトの報酬を伴うグループ相対ポリシー最適化(GRPO)を探索する。 合成SFTは、自然発声への主要なクロスドメイン転送を提供し、混合誤り率(MER)を23.40%から21.52%(-1.88pp)、スイッチポイント誤り率(SPER)を35.89%から28.77%(-7.12pp)に減少させる。 その後のGRPOは173の音声(1.69%)に対して小さな統計的に重要な調整を行い、英語スクリプトの混乱(SCR_en)を6.45%から6.36%(p <= 0.001)に、SPERを28.70%(p = 0.022クラスタ化)に誘導する。 重要なことは、このSFT変換エンコーダデコーダ設定では、ロールアウト候補群が合成データにほぼゼロに近いスクリプト分散を示すため、補助的なスクリプト報酬項がMERのみの最適化と同等のパフォーマンスを得る。 モノリンガルベンチマークでは、SFTはネパールのMERを2.71pp(GRPO以降18.42%、ベースラインより2.38pp上昇)改善し、英語の語彙WER(3.38%対3.33%)を保存している。 検証済みの書き起こし、タイムスタンプ、エピソードメタデータ、再構築スクリプトが公開されている。

関連論文リスト

• DF-PALM: Dynamic Fusion Prompt Learning for Audio--Language Models [57.25672896669361]
  限られたラベル付きデータと可変音響イベントを区別するために、音声モデルを必要とする音声分類は少ない。 Palmの主な定式化は、事前訓練されたエンコーダを変更することなく、エンコードされたクラス表現に適応するが、そのクラス表現は入出力に依存しないままである。 本稿では,音声条件付きクラス表現と非対称なクロスアテンションを組み合わせた動的特徴空間プロンプトフレームワークDF-PALMを紹介する。
  論文  参考訳（メタデータ） (2026-10-18T00:02:04Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German [0.34797121357690153]
  我々は、4つの言語ペアで5つの商用ASRプロバイダを評価するベンチマークを示す。 We evaluate on WER and BERTScore, showed that both metrics agree on the Ordinal ranking of systems, WER inflats the size of quality gaps。 ElevenLabs Scribe v2は最低のWER(全体の13.2%)を獲得し、BERTScore(全体の0.936)に導かれる。
  論文  参考訳（メタデータ） (2026-05-18T19:50:44Z)
• Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech [50.45710815530982]
  同時音声翻訳(SST)は、部分的な音声入力を受けながら翻訳を生成する。 近年の進歩により、大規模言語モデル(LLM)はSSTの品質を大幅に向上するが、高い計算オーバーヘッドのコストがかかる。 本稿では,不完全なSFTデータに基づいて列車後モデルを訓練する階層的ポリシー最適化(HPO)手法を提案する。 英語と中国語/ドイツ語/日本語の実験では、+7 COMETスコアと+1.25 MetricXスコアが1.5秒で改善された。
  論文  参考訳（メタデータ） (2026-04-22T19:43:51Z)
• The Script Tax: Measuring Tokenization-Driven Efficiency and Latency Disparities in Multilingual Language Models [0.0]
  2つの正書法変種を同一言語内容と比較することにより,スクリプト税の定量化を行う。 mBERT と XLM-R にまたがって、高いフラッゲーションの正書法は、受精率を3.4倍に向上させる。 サブワードの断片化から「NLLパラドックス」を避けるために、文字単位のビット(BPC)を用いることで、情報コストが大幅に増加することが分かる。
  論文  参考訳（メタデータ） (2026-01-19T14:45:40Z)
• Improving Code-Switching Speech Recognition with TTS Data Augmentation [58.34842693152991]
  本稿では,この不足に対処する効果的なデータ拡張手法として,多言語テキスト音声(TTS)モデルについて検討する。 我々は、SEAMEデータセット上の多言語CosyVoice2 TTSモデルを微調整し、中国語と英語の合成音声を生成する。
  論文  参考訳（メタデータ） (2026-01-02T10:11:51Z)
• Improving French Synthetic Speech Quality via SSML Prosody Control [17.211517793654703]
  本稿では、音声言語マークアップタグをフランス語テキストに挿入し、ピッチ、発話速度、ボリューム、停止時間を制御する最初のエンドツーエンドパイプラインを提案する。 フランスの14時間ポッドキャストコーパスで評価し,F1のブレーク配置を達成し,ピッチ,レート,ボリュームの平均絶対誤差を25～40%削減する。
  論文  参考訳（メタデータ） (2025-08-24T19:07:59Z)
• Phonology-Guided Speech-to-Speech Translation for African Languages [2.7624021966289605]
  音声合成のための韻律誘導フレームワーク(S2ST)を提案する。 Emphwithin-phylum言語対は30-40%低停止,3$times$以上のオンセット/オフセット相関を示した。 また、人間の判断と強く相関する3層無転写BLEUスイート(M1-M3)もリリースしています。
  論文  参考訳（メタデータ） (2024-10-30T09:44:52Z)
• Speech collage: code-switched audio generation by collaging monolingual corpora [50.356820349870986]
  Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。 2つのシナリオにおける音声認識における生成データの影響について検討する。
  論文  参考訳（メタデータ） (2023-09-27T14:17:53Z)
• RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise [66.92823764664206]
  我々は,任意のトランスフォーマーベース音声符号化アーキテクチャにシームレスに統合可能な,新しいReduceer AdaptorブロックRedAptを提案する。 事前訓練されたwav2vec 2音声エンコーダをRedAptbrings 41%の高速化、33%のメモリ削減、24%のFLOPを推論で削減した。
  論文  参考訳（メタデータ） (2022-10-16T07:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。