論文の概要: Leveraging Audio-Visual Data to Reduce the Multilingual Gap in Self-Supervised Speech Models

• arxiv url: http://arxiv.org/abs/2509.17523v1
• Date: Mon, 22 Sep 2025 08:48:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.307772
• Title: Leveraging Audio-Visual Data to Reduce the Multilingual Gap in Self-Supervised Speech Models
• Title（参考訳）: 自己監督音声モデルのマルチリンガルギャップ低減のためのオーディオ・ビジュアルデータの利用
• Authors: María Andrea Cruz Blandón, Zakaria Aldeneh, Jie Chi, Maureen de Seyssel,
• Abstract要約: 自己教師付き学習(SSL)は、音声表現学習において大きな進歩を遂げている。 多言語SSLモデルは、個々の言語でモノリンガルのモデルよりも性能が低い傾向にある。 この性能ギャップを低減するために、バイリンガル音声SSLモデルに限られた視覚的グラウンドを導入する。
• 参考スコア（独自算出の注目度）: 8.556170587475146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has made significant advances in speech representation learning. Models like wav2vec 2.0 and HuBERT have achieved state-of-the-art results in tasks such as speech recognition, particularly in monolingual settings. However, multilingual SSL models tend to underperform their monolingual counterparts on each individual language, especially in multilingual scenarios with few languages such as the bilingual setting. In this work, we investigate a novel approach to reduce this performance gap by introducing limited visual grounding into bilingual speech SSL models. Our results show that visual grounding benefits both monolingual and bilingual models, with especially pronounced gains for the latter, reducing the multilingual performance gap on zero-shot phonetic discrimination from 31.5% for audio-only models to 8.04% with grounding.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、音声表現学習において大きな進歩を遂げている。 wav2vec 2.0やHuBERTのようなモデルは、音声認識のようなタスク、特にモノリンガル設定において、最先端の結果を達成している。 しかし、多言語SSLモデルは個々の言語、特にバイリンガル設定のようなほとんど言語を持たないマルチリンガルシナリオにおいて、個々の言語におけるモノリンガルモデルよりも性能が低い傾向にある。 本研究では,バイリンガル音声SSLモデルに限定的な視覚的グラウンド化を導入することで,この性能ギャップを低減する新しい手法について検討する。 以上の結果から, 単言語モデルとバイリンガルモデルの両方において視覚的グラウンドリングが有効であり, 後者では特に顕著な利得が得られ, ゼロショット音声認識におけるマルチリンガル性能の差は, 音声のみのモデルでは31.5%からグラウンドリングでは8.04%に減少した。

関連論文リスト

• Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts [14.999359332108767]
  表現不足言語に対するASRの性能ギャップを埋めるため、DistilWhisperを提案する。 提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。 その結果,本手法は通常のファインチューニングやLoRAアダプタよりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-02T08:37:30Z)
• Hindi as a Second Language: Improving Visually Grounded Speech with Semantically Similar Samples [89.16814518860357]
  本研究の目的は,多言語の観点からの視覚的基盤音声モデル(VGS)の学習を検討することである。 この研究における重要な貢献は、低リソース言語の性能を向上させるために、バイリンガルな視覚的基盤を持つ音声モデルにおける高リソース言語のパワーを活用することである。
  論文  参考訳（メタデータ） (2023-03-30T16:34:10Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
  本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。 非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
  論文  参考訳（メタデータ） (2022-11-02T14:54:45Z)
• Distilling a Pretrained Language Model to a Multilingual ASR Model [3.4012007729454816]
  教師のテキストモデルに埋め込まれた豊富な知識を学生の音声モデルに蒸留する。 我々は,100時間未満の音声データを持つCommonVoiceデータセットの低リソース言語20言語に対して,本手法の優位性を示す。
  論文  参考訳（メタデータ） (2022-06-25T12:36:11Z)
• Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
  複数の言語をサポートするエンドツーエンドシステムを開発した。 我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
  論文  参考訳（メタデータ） (2021-09-28T04:43:11Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。