Fugu-MT 論文翻訳(概要): Language Discrimination Improves Linguistic Learning in Multilingual Speech Models

論文の概要: Language Discrimination Improves Linguistic Learning in Multilingual Speech Models

arxiv url: http://arxiv.org/abs/2609.33345v1
Date: Sun, 27 Sep 2026 08:17:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 00:54:47.50625
Title: Language Discrimination Improves Linguistic Learning in Multilingual Speech Models
Title（参考訳）: 言語識別は多言語音声モデルにおける言語学習を改善する
Abstract要約: 自己教師付き音声モデルは、言語間での情報共有の恩恵を受けることができるが、一致した事前訓練データ予算の下では、単言語モデルに欠ける。我々は,事前学習中に言語を識別するモデルの能力を強化することで,この多言語間ギャップを解消できることを実証した。これらの結果は,多言語学習のさらなるコスト削減において,言語識別の因果的役割を担っている。
参考スコア（独自算出の注目度）: 9.089167782454311
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multilingual self-supervised speech models can benefit from sharing information across languages, but under a matched total pretraining data budget they still fall short of monolingual models. We show that strengthening the model's ability to discriminate languages during pretraining reduces and, on some measures, closes this multilingual gap on continuous phonetic and higher-level linguistic measures, while preserving substantial cross-language sharing. Using a controlled English/French HuBERT setting, we test two interventions which strengthen language discrimination: an auxiliary language classifier and per-language k-means targets. Across interventions, continuous-feature phone discrimination error (phone-ABX, lower is better) decreases from 11.6% in the bilingual baseline to 10.4% (monolingual: 10.8%), while lexical performance (sWUGGY, higher is better) increases from 52.1% to 56.7% (monolingual: 58.5%) and prosodic performance (ProsAudit, lexical subtask, higher is better) from 68.9% to 72.9% (monolingual: 72.6%). Across HuBERT training stages, the strongest gains on most linguistic measures occur when language discrimination is introduced in the first iteration, whereas later or repeated interventions yield smaller improvements and are accompanied by increased language-wise segregation. These results support a causal role for language discrimination in reducing the additional cost of multilingual learning.
Abstract（参考訳）: 言語間で情報を共有することで、多言語による自己教師型音声モデルにメリットがあるが、一致した事前訓練データ予算の下では、単言語モデルに欠ける。事前学習中にモデルを識別する能力を強化することは、言語間共有を効果的に保ちつつ、連続的な音声的・高レベル言語的尺度におけるこの多言語間ギャップを埋めることが示される。制御された英語/フランス語の HuBERT 設定を用いて、補助言語分類器と言語毎k-means ターゲットという、言語識別を強化する2つの介入をテストする。介入によって、連続的な電話の識別エラー(電話-ABX、下は上)は、バイリンガルベースラインの11.6%から10.4%(単言語:10.8%)に減少し、語彙性能(sWUGGY、上は上)は52.1%から56.7%(単言語:58.5%)に増加し、韻律性能(プロスオーディット、レキシカルサブタスク、上は上)は68.9%から72.9%(単言語:72.6%)に減少する。 HuBERTの訓練段階全体では、最初の反復で言語差別が導入されたときに、ほとんどの言語的手段において最も大きな利益が生じるが、後続または反復的な介入は、より小さな改善をもたらし、言語的分離が増大する。これらの結果は,多言語学習のさらなるコスト削減において,言語識別の因果的役割を担っている。

関連論文リスト

ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset [16.940142252787144]
13言語にわたる多言語データキュレーションについて検討する。制御されたバイリンガル実験では、単一の言語でのデータ品質が向上する。我々は,20T-tokenプレトレーニングコーパスを作成した作業において,このアプローチを運用する。
論文参考訳（メタデータ） (2026-02-16T21:40:03Z)
One Tokenizer To Rule Them All: Emergent Language Plasticity via Multilingual Tokenizers [43.91164842493269]
早期訓練における比較的安価な介入が「言語可塑性」を改善するかについて検討する。本稿では,初等事前学習言語よりも多くの言語で訓練されたユニバーサルトークン化器を提案する。
論文参考訳（メタデータ） (2025-06-12T14:47:13Z)
When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
論文参考訳（メタデータ） (2025-05-21T08:35:05Z)
Improving Cross-Lingual Phonetic Representation of Low-Resource Languages Through Language Similarity Analysis [7.751856268560216]
本稿では,低音源言語における音声処理における言語的類似性が言語間音声表現に与える影響について検討する。音韻学的に類似した言語を使用すると、単言語訓練よりも55.6%の相対的な改善が達成される。
論文参考訳（メタデータ） (2025-01-12T13:29:24Z)
SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
論文参考訳（メタデータ） (2025-01-07T10:29:43Z)
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech [3.812148920168377]
本稿では,話者ダイアリゼーションと言語識別からなるケースケードシステムを提案する。結果から,提案システムは低言語分類と言語ダイアリゼーション誤り率をしばしば達成することがわかった。同時に、モノリンガル音声における音声認識に悪影響を及ぼさない。
論文参考訳（メタデータ） (2024-06-13T16:27:56Z)
Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
論文参考訳（メタデータ） (2023-11-14T11:24:08Z)
Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
論文参考訳（メタデータ） (2023-10-23T17:42:01Z)
Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文参考訳（メタデータ） (2021-09-01T09:32:06Z)
AmericasNLI: Evaluating Zero-shot Natural Language Understanding of Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。は、アメリカ大陸の10の原住民の言語である。 XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。 XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文参考訳（メタデータ） (2021-04-18T05:32:28Z)
Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
論文参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。