論文の概要: Phonological Interference in Multilingual Speech Models

• arxiv url: http://arxiv.org/abs/2610.11275v2
• Date: Mon, 12 Oct 2026 21:04:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.675933
• Title: Phonological Interference in Multilingual Speech Models
• Title（参考訳）: 多言語音声モデルにおける音韻的干渉
• Abstract要約: 音素レベルのモデルは、単語を区別する最小の音素単位である音素の列として音声を転写または生成する。 音韻的干渉の背後にある系統的な障害モードを同定する。 音声認識者は、その言語に割り当てられた訓練言語の音韻を強制し、その代入に自信を持てば、見知らぬ言語を失うほど、割り当てられた言語は欠落する。
• 参考スコア（独自算出の注目度）: 36.918388287260576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Phoneme-level models transcribe or generate speech as a sequence of phonemes, the smallest sound units that distinguish words. These models enable fine-grained pronunciation control and understanding, yet often fail on input that does not match any single training language, such as speech alternating between two languages, known as code-switching, or low-resource languages absent from training. We identify a systematic failure mode behind this, phonological interference: models assume the input is in a single language and impose its phonology, overriding local phoneme-level decisions that conflict with the assumed language. We measure interference by how often a model retains phonemes that one language has but the other lacks. On code-switched input, two phone recognizers (speech-to-phoneme models) and a phoneme-conditioned text-to-speech model lose 32% to 79% of these phonemes, but lose far fewer of the phonemes both languages share. On unseen languages, we find that phone recognizers impose the phonology of the training language they assign to the speech, and the more confident the assignment, the more they lose phonemes the unseen language has but the assigned language lacks. We probe the models' language estimate from their internal activations, and trace interference to a low dimensional subspace. On monolingual speech, steering this subspace toward another language makes the model lose the phonemes that only the original language uses and produce phonemes that only the target language has. We introduce windowed language estimation (WLE), an inference time repair that replaces the model's language estimate in this subspace with one computed from a short window around each position. On code-switched input, WLE removes 34% to 69% of the interference in all three models, and in the recognizers it leaves monolingual performance essentially unchanged.
• Abstract（参考訳）: 音素レベルのモデルは、単語を区別する最小の音素単位である音素の列として音声を転写または生成する。 これらのモデルは微妙な発音制御と理解を可能にするが、コードスイッチング(code-switching)や低リソース言語(low-resource language)と呼ばれる2つの言語間の音声の交互化のような、単一の訓練言語と一致しない入力で失敗することが多い。 モデルは入力が単一の言語にあると仮定し、その音韻を課し、仮定された言語と矛盾する局所音素レベルの決定をオーバーライドする。 モデルが1つの言語が持つ音素を保持する頻度で干渉を測定するが、もう1つは欠落している。 コード切替入力では、2つの音声認識器(音声-音素モデル)と音素条件付きテキスト-音声モデル(音声-音素モデル)がこれらの音素の32%から79%を失うが、両言語が共有する音素のはるかに少ない。 未確認言語では、音声認識者は、その言語に割り当てられた訓練言語の音韻を強制し、その代入に自信を持てば、未確認言語が持つ音素を失うほど、割り当てられた言語は欠落する。 モデル内のアクティベーションからモデル言語の推定を探索し、低次元部分空間にトレース干渉する。 モノリンガル言語では、この部分空間を他の言語に向けて操ることで、モデルは元の言語のみが使用する音素を失い、ターゲット言語のみが持つ音素を生成する。 この部分空間におけるモデルの言語推定を各位置の短いウィンドウから計算したものに置き換える推定時間であるウィンドウ言語推定(WLE)を導入する。 コード切替入力では、WLEは3つのモデルの干渉の34%から69%を除去し、認識器ではモノリンガルのパフォーマンスは基本的に変化しない。

関連論文リスト

• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• The taste of IPA: Towards open-vocabulary keyword spotting and forced alignment in any language [7.0944623704102625]
  音声処理のための音素モデルにより、未知の言語に対して強い言語横断的一般化が達成できることを示す。 任意の音声信号と音素シーケンスの開語彙マッチングが可能な多言語音声合成コントラスト埋め込みモデルであるCLAP-IPAを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:09:07Z)
• Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition [71.49308685090324]
  本稿では,未知言語における音声認識における異なる要因(モデルアーキテクチャ,音韻モデル,音声表現の種類)の影響について検討する。 独特な音、類似した音、トーン言語は、音声による在庫発見の大きな課題である。
  論文  参考訳（メタデータ） (2022-01-26T22:12:55Z)
• A phonetic model of non-native spoken word processing [40.018538874161756]
  音韻学にアクセスできない音韻学習の計算モデルを1つまたは2つの言語で学習する。 まず、このモデルが、音声レベルおよび単語レベルの識別タスクにおいて予測可能な振る舞いを示すことを示す。 次に、音声による単語処理タスクでモデルをテストし、非母語話者で観察される単語処理の効果を説明するために音韻学は必要ないことを示した。
  論文  参考訳（メタデータ） (2021-01-27T11:46:21Z)
• That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages [72.9927937955371]
  我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。 我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。 分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T22:28:09Z)
• Universal Phone Recognition with a Multilingual Allophone System [135.2254086165086]
  言語に依存しない音素分布と言語に依存しない音素分布の連成モデルを提案する。 11言語での多言語ASR実験では、このモデルにより2%の音素誤り率でテスト性能が向上することがわかった。 我々の認識器は17%以上の精度向上を実現し、世界中のすべての言語で音声認識に一歩近づいた。
  論文  参考訳（メタデータ） (2020-02-26T21:28:57Z)
• Towards Zero-shot Learning for Automatic Phonemic Transcription [82.9910512414173]
  より難しい問題は、トレーニングデータをゼロにする言語のための音素変換器を構築することだ。 我々のモデルは、トレーニングデータなしで、ターゲット言語で見知らぬ音素を認識できる。 標準的な多言語モデルよりも平均して7.7%の音素誤り率を実現している。
  論文  参考訳（メタデータ） (2020-02-26T20:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。