論文の概要: Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models

• arxiv url: http://arxiv.org/abs/2610.18726v2
• Date: Wed, 14 Oct 2026 22:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:15.953006
• Title: Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
• Title（参考訳）: 音声基礎モデルにおける言語選択次元によるコードスイッチング検出
• Abstract要約: コードスイッチングは多言語音声では一般的であるが、事前学習コーパスでは不十分である。 音声から直接CSを検出する軽量な手法を提案する。 事前学習した音声エンコーダは,CS発声を識別するために必要な情報をすでに符号化している。
• 参考スコア（独自算出の注目度）: 13.831973424751363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code-switching (CS), the alternation between languages within an utterance, is common in multilingual speech but underrepresented in pretraining corpora. Increasing CS coverage requires finding relevant utterances in large speech collections so that they can be included in training data. One way to find such utterances is to transcribe the speech and detect language alternation in the text, but this depends on obtaining accurate multilingual transcriptions. We propose a lightweight method that detects CS directly from speech. It uses frame-level language information in pretrained speech encoders to determine whether both languages are present within an utterance. Specifically, we identify language-selective hidden-state dimensions using monolingual recordings and aggregate their frame-level activations into a CS prediction. With a small CS set used to tune a decision rule, we show that the Whisper-small encoder achieves a mean F1 of $0.798$ across 14 language pairs in CS-FLEURS, compared with $0.776$ for a CNN and $0.751$ for a HuBERT linear baseline trained for monolingual language identification. Our findings suggest that pretrained speech encoders already encode the information needed to identify CS utterances, and they provide a lightweight tool for building more representative multilingual corpora.
• Abstract（参考訳）: 発話中の言語間の交替であるコードスイッチング(CS)は、多言語音声では一般的であるが、事前学習コーパスでは不十分である。 CSカバレッジの増加には、トレーニングデータに含められるように、大規模な音声収集において関連する発話を見つける必要がある。 このような発話を見つける1つの方法は、音声を転写し、テキスト中の言語変化を検出することであるが、これは正確な多言語転写を取得することに依存する。 音声から直接CSを検出する軽量な手法を提案する。 事前訓練された音声エンコーダでフレームレベルの言語情報を使用して、両方の言語が発話内に存在するかどうかを判断する。 具体的には,言語選択型隠れ状態次元をモノリンガル記録を用いて同定し,フレームレベルのアクティベーションをCS予測に集約する。 CS-FLEURSの14言語対の平均F1は0.798ドル、CNNは0.776ドル、HuBERT線形ベースラインは0.751ドルである。 その結果,事前学習した音声エンコーダは,CS発声を識別するために必要な情報をすでに符号化しており,より代表的な多言語コーパスを構築するための軽量なツールを提供していることが示唆された。

関連論文リスト

• Multilingual Source Tracing of Speech Deepfakes: A First Benchmark [19.578741954970738]
  本稿では,多言語音声のディープフェイクソーストレースのための最初のベンチマークを紹介する。 DSPおよびSSLに基づくモデリングを比較検討し、異なる言語で調整されたSSL表現が言語間一般化性能にどのように影響するかを検討する。 この結果から,学習言語と推論言語の違いによる音声生成モデル同定の課題について,総合的な知見が得られた。
  論文  参考訳（メタデータ） (2025-08-06T07:11:36Z)
• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning [0.7242530499990028]
  コードスイッチング(Code-switching)は、カジュアルな設定において、多言語話者が異なる言語の単語を1つの発話で混ぜる言語現象である。 英マンダリン言語指向音声データセットにおける言語識別精度向上のための2つの新しいアプローチを提案する。 我々の最良のモデルでは、実際の英マンダリンのコードスイッチングによる子指向音声コーパスにおいて、0.781のバランスの取れた精度を達成し、以前のベースラインを55.3%上回っている。
  論文  参考訳（メタデータ） (2023-05-31T11:43:16Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Towards Zero-Shot Code-Switched Speech Recognition [44.76492452463019]
  ゼロショット設定の下で,効率的な符号切替自動音声認識システム (ASR) の構築を目指す。 そこで本研究では,各単言語モジュールの音声セグメントを単言語スクリプトで不特定に書き起こすことにより,各単言語モジュールを単純化することを提案する。 本手法をエンドツーエンドの微分可能なニューラルネットワークに適用し、マンダリン英語SEAMEテストセットにおけるゼロショットCS ASRの有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-02T19:52:54Z)
• Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition [62.997667081978825]
  コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。 本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。 さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-17T12:15:57Z)
• Code-Switching without Switching: Language Agnostic End-to-End Speech Translation [68.8204255655161]
  我々は音声認識と翻訳を一貫したエンドツーエンドの音声翻訳問題として扱う。 LASTを両方の入力言語で訓練することにより、入力言語に関係なく、音声を1つのターゲット言語にデコードする。
  論文  参考訳（メタデータ） (2022-10-04T10:34:25Z)
• LAE: Language-Aware Encoder for Monolingual and Multilingual ASR [87.74794847245536]
  言語固有の情報を混在させることにより,両状況に対処する新しい言語対応エンコーダ (LAE) アーキテクチャを提案する。 マンダリン・イングリッシュ・コードスウィッチ音声を用いた実験により,LAEはフレームレベルで異なる言語を識別できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-05T04:03:12Z)
• Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models [55.82292352607321]
  コードスイッチング(英: Code-switching, CS)は、複数の言語が文内で使用される日常会話において一般的である。 本稿では、最近成功した自己教師付き学習(SSL)手法を用いて、CSを使わずに多くのラベルなし音声データを活用する。
  論文  参考訳（メタデータ） (2021-10-07T14:43:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。