論文の概要: What Do Multilingual Self-Supervised Speech Encoders Know About Sentence Meaning?
- arxiv url: http://arxiv.org/abs/2611.17686v1
- Date: Fri, 13 Nov 2026 03:12:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.295749
- Title: What Do Multilingual Self-Supervised Speech Encoders Know About Sentence Meaning?
- Title(参考訳): 文の意味について知る多言語自己監督音声エンコーダとは何か?
- Abstract要約: 自己教師型音声モデル(S3M)は数千の言語と数百万時間に及ぶオーディオに拡張されている。
76言語にまたがる多言語S3Mにおける文レベルの意味を,凍結した音声表現から凍結したテキスト埋め込み空間への線形写像を用いて探索する。
言語間プローブは、プローブトレーニングで見たことのない言語に関する言語固有のプローブと一致するが、モデルごとのモノリンガル陰性性は転送を予測しない。
- 参考スコア(独自算出の注目度): 8.485281058504421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised speech models (S3Ms) have been scaled up to thousands of languages and millions of hours of audio, yet little is known about how these models structure semantic knowledge across languages. In this work, we probe sentence-level semantics in massively multilingual S3Ms across 76 languages, using linear maps from frozen speech representations into a frozen text embedding space, evaluated by cross-modal retrieval. Sentence meaning is linearly accessible but highly uneven across languages and resource tiers. Cross-lingual probes can match language-specific probes on languages never seen in probe training, but per-model monolingual decodability does not predict transfer. Within the OmniASR wav2vec family, scaling from 300M--7B disproportionately benefits high-resource languages, and ASR tuning sharply improves semantic decodability while making representations more language-specific. However, semantic content is entangled with acoustics, inflating apparent performance on single-speaker corpora.
- Abstract(参考訳): 自己教師付き音声モデル(S3M)は数千の言語と数百万時間に及ぶオーディオに拡張されているが、これらのモデルが言語全体にわたって意味的な知識をどのように構成するかは分かっていない。
本研究では,76言語にまたがる多言語S3Mにおける文レベルのセマンティクスを探索し,凍結した音声表現から凍結したテキスト埋め込み空間への線形写像を用いて,クロスモーダル検索により評価する。
文の意味は線形にアクセス可能であるが、言語やリソース層では非常に不均一である。
言語間プローブは、プローブ訓練で見たことのない言語に関する言語固有のプローブと一致するが、モデルごとのモノリンガル陰性性は転送を予測しない。
OmniASR wav2vecファミリでは、300M--7Bからのスケーリングは、高リソース言語に不均衡に恩恵を与え、ASRチューニングは、表現をより言語固有のものにしながら、セマンティックデオーダビリティを劇的に改善する。
しかし, セマンティックな内容は音響的に絡み合っており, 単一話者コーパス上での明らかな性能を増大させる。
関連論文リスト
- Sparse Autoencoders Can Capture Language-Specific Concepts Across Diverse Languages [11.19692440351977]
既存の研究はしばしば個々のニューロンに焦点を当てているが、その多意味性は言語固有の単位を分離することが困難である。
本稿では,機能アクティベーション確率に基づくSAE-LAPEを用いて,フィードフォワードネットワーク内の言語固有の特徴を識別する手法を提案する。
これらの機能は、モデルの多言語パフォーマンスと言語出力に影響を与え、fastTextに匹敵するパフォーマンスを持つ言語識別に使用できる。
論文 参考訳(メタデータ) (2025-07-15T12:00:30Z) - Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding [7.973470389066757]
形式的な書記体系を欠いているすべての生きた言語の半数には、音声言語理解が不可欠である。
Fleurs-SLUベンチマークは102言語における話題発声分類のための692時間の音声にまたがる。
我々は、Fleurs-SLU上でのエンドツーエンド音声分類モデル、音声からテキストへの書き起こしとその後のLLMに基づく分類とを組み合わせたケースドシステム、マルチモーダル音声-LLMを評価する。
論文 参考訳(メタデータ) (2025-01-10T17:15:38Z) - Zero-shot Sentiment Analysis in Low-Resource Languages Using a
Multilingual Sentiment Lexicon [78.12363425794214]
私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。
文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
論文 参考訳(メタデータ) (2024-02-03T10:41:05Z) - Multilingual self-supervised speech representations improve the speech
recognition of low-resource African languages with codeswitching [65.74653592668743]
微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。
訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
論文 参考訳(メタデータ) (2023-11-25T17:05:21Z) - Towards a Deep Understanding of Multilingual End-to-End Speech
Translation [52.26739715012842]
我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。
我々は分析から3つの大きな発見を得た。
論文 参考訳(メタデータ) (2023-10-31T13:50:55Z) - LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and
Translation Using Neural Transducers [71.76680102779765]
自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。
ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
論文 参考訳(メタデータ) (2022-11-05T04:03:55Z) - Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities
on Multilingual Speech Recognition [31.575930914290762]
言語間音響-音声の類似性を調べるために, 新たなデータ駆動手法を提案する。
ディープニューラルネットワークは、異なる音響モデルからの分布を直接的に同等の形式に変換するためのマッピングネットワークとして訓練されている。
モノリンガルに比べて8%の相対的な改善が達成されている。
論文 参考訳(メタデータ) (2022-07-07T15:55:41Z) - How Phonotactics Affect Multilingual and Zero-shot ASR Performance [74.70048598292583]
Transformer encoder-decoderモデルは、トレーニング中に提示された言語のIPA転写において、多言語データをうまく活用することが示されている。
我々は,エンコーダデコーダをAMとLMを分離したハイブリッドASRシステムに置き換える。
交叉音韻律のモデル化による利得は限定的であり,強すぎるモデルがゼロショット転送を損なう可能性があることを示す。
論文 参考訳(メタデータ) (2020-10-22T23:07:24Z) - Improved acoustic word embeddings for zero-resource languages using
multilingual transfer [37.78342106714364]
我々は、ラベル付きデータに対する複数の良質な言語からの単一の教師付き埋め込みモデルを訓練し、それを目に見えないゼロ・リソース言語に適用する。
本稿では,3つのマルチリンガルリカレントニューラルネットワーク(RNN)モデルについて考察する。全ての訓練言語の連接語彙に基づいて訓練された分類器,複数言語から同一語と異なる単語を識別する訓練されたシームズRNN,単語ペアを再構成する訓練された対応オートエンコーダ(CAE)RNNである。
これらのモデルは、ゼロリソース言語自体で訓練された最先端の教師なしモデルよりも優れており、平均精度が30%以上向上している。
論文 参考訳(メタデータ) (2020-06-02T12:28:34Z) - That Sounds Familiar: an Analysis of Phonetic Representations Transfer
Across Languages [72.9927937955371]
我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。
我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。
分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
論文 参考訳(メタデータ) (2020-05-16T22:28:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。