論文の概要: Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation

• arxiv url: http://arxiv.org/abs/2610.09321v1
• Date: Wed, 07 Oct 2026 02:25:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.681314
• Title: Dialect-Robust Speech Language Models with Synthetic Pseudo-Dialect Augmentation
• Title（参考訳）: 合成擬似言語拡張を用いた対話音声モデル
• Abstract要約: 音声言語モデル(SLM)の性能は、データ不足により方言で劣化することが多い。 本稿では,標準言語 TTS モデルを用いて方言テキストを変換して擬似方言音声を合成することを提案する。 中間標準文予測は意味的ギャップを効果的に埋め、日本語では28.26、中国語では11.67から16.37に向上する。
• 参考スコア（独自算出の注目度）: 10.297938917557465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech Language Model (SLM) performance often degrades on dialects due to data scarcity. Conventional text-to-speech (TTS) augmentation struggles to cover diverse dialects as it requires a certain amount of real dialect speech. We propose synthesizing pseudo-dialect speech by converting LLM-generated dialect text via a standard-language TTS model, requiring zero real dialect speech. Additionally, we introduce intermediate standard-text prediction during training, acting as semantic normalization for downstream tasks. We evaluate dialect understanding via dialect-to-English speech translation across Japanese, German, and Chinese dialects. Compared to synthetic standard speech baselines, pseudo-dialect augmentation improves scores for Japanese (from 25.38 to 26.24) and German (from 31.57 to 32.47). Furthermore, the intermediate standard-text prediction effectively bridges the semantic gap, boosting performance to 28.26 for Japanese and from 11.67 to 16.37 for Chinese. These results suggest that our approach scales to various languages without requiring speech resources specific to each dialect.
• Abstract（参考訳）: 音声言語モデル(SLM)の性能は、データ不足により方言で劣化することが多い。 従来のTTS(text-to-speech)拡張は、特定の量の実際の方言音声を必要とするため、様々な方言をカバーするのに苦労する。 我々は,標準言語TTSモデルを用いてLLM生成方言テキストを変換し,実際の方言音声をゼロにすることで,擬似方言音声を合成することを提案する。 さらに、ダウンストリームタスクのセマンティック正規化として機能し、トレーニング中に中間的な標準テキスト予測を導入する。 日本語,ドイツ語,中国語の方言における方言と英語の言語翻訳による方言理解の評価を行った。 合成標準音声ベースラインと比較すると、日本語(25.38から26.24)とドイツ語(31.57から32.47)のスコアが向上する。 さらに、中間標準文予測は意味的ギャップを効果的に橋渡しし、日本語では28.26、中国語では11.67から16.37に向上した。 これらの結果から,各方言に特有の音声リソースを必要とせず,様々な言語に拡張できることが示唆された。

関連論文リスト

• Quantifying the Generation Modality Gap in Speech-Text Language Models [22.8588553114451]
  純粋な音声言語モデルは、コヒーレントなコンテンツを生成する際に、テキストや音声-テキスト言語モデルに遅れをとることが多い。 本研究では,連続音響特徴量生成のためのフローマッチングに基づいて,音声モデル群における音声文のモダリティギャップについて検討する。 我々は、一致したデータに基づいて訓練された音声のみ、テキストのみ、および音声テキスト言語モデルを比較する、統合された世代ベース評価スイートを構築した。
  論文  参考訳（メタデータ） (2026-09-13T19:09:07Z)
• DialectS2S: End-to-End Speech Dialogue Modeling for Low-Resource Chinese Dialects [20.435203165921134]
  中国語方言におけるエンドツーエンド音声対話モデルDialectS2Sを提案する。 まず、効率的なデータ構築のためのスケーラブルな方言音声合成パイプラインを開発する。 本稿では,自己整合型音声指導による2段階後学習戦略を導入し,音声指導のセマンティック内容とモデルの進化したセマンティック表現とを整合させる。
  論文  参考訳（メタデータ） (2026-08-08T11:11:10Z)
• KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026 [61.29502937013759]
  言語間音声のクローニングは、ソース言語参照から話者識別を保ちながら、ターゲット言語で音声を生成することを目的としている。 鍵となる課題は、アクセントの変化とドメイン固有の語彙の存在において、知性と自然性を維持することである。 我々は、多言語テキスト音声モデル、FishAudio-S2-Proを構築し、言語制御を改善しアクセントリークを低減するために、言語タグプロンプトを導入する。
  論文  参考訳（メタデータ） (2026-06-05T13:09:21Z)
• PolySpeech-100: A Large-Scale Benchmark for Speech Understanding Across 100+ Languages and Dialects [29.32197370490759]
  PolySpeech-100は110の言語変種にわたるネイティブレベルの音声理解を評価するために設計された大規模ベンチマークである。 我々は、指示駆動合成音声によるゴールドスタンダードな人間の録音を増強する、新しいハイブリッド構築パイプラインを採用している。
  論文  参考訳（メタデータ） (2026-05-31T05:13:32Z)
• Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
  同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。 単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。 Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-11T17:41:01Z)
• Languages in Multilingual Speech Foundation Models Align Both Phonetically and Semantically [58.019484208091534]
  事前訓練された言語モデル(LM)における言語間アライメントは、テキストベースのLMの効率的な転送を可能にしている。 テキストに基づく言語間アライメントの発見と手法が音声に適用されるかどうかについては、未解決のままである。
  論文  参考訳（メタデータ） (2025-05-26T07:21:20Z)
• ComSL: A Composite Speech-Language Model for End-to-End Speech-to-Text Translation [79.66359274050885]
  公的な事前訓練された音声のみのモデルと言語のみのモデルからなる複合アーキテクチャ上に構築された音声言語モデルであるComSLを提案する。 提案手法は,エンドツーエンドの音声-テキスト翻訳タスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2023-05-24T07:42:15Z)
• Cross-lingual Low Resource Speaker Adaptation Using Phonological Features [2.8080708404213373]
  我々は、異なる言語に共通する音韻的特徴のセットに基づいて、言語に依存しないマルチスピーカモデルを訓練する。 対象話者データの32と8の発声で、対応する文献に匹敵する高い話者類似度スコアと自然性を得る。
  論文  参考訳（メタデータ） (2021-11-17T12:33:42Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。