論文の概要: What Do Self-Supervised Speech Models Know About Words?

• arxiv url: http://arxiv.org/abs/2307.00162v3
• Date: Wed, 31 Jan 2024 05:00:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 18:06:26.920946
• Title: What Do Self-Supervised Speech Models Know About Words?
• Title（参考訳）: 自己監督音声モデルは単語について何を知っているか?
• Authors: Ankita Pasad, Chung-Ming Chien, Shane Settle, Karen Livescu
• Abstract要約: 自己教師型音声モデル(S3Ms)はここ数年で導入され、様々な音声タスクの性能とデータ効率が改善されている。 最近の研究は、S3Mが音声情報や話者情報などの特定の特性をエンコードする方法の分析を始めている。 我々は,S3Msで符号化されたセグメントレベルの言語特性を研究するために,軽量な解析手法を用いた。
• 参考スコア（独自算出の注目度）: 23.163029143563893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many self-supervised speech models (S3Ms) have been introduced over the last few years, improving performance and data efficiency on various speech tasks. However, these empirical successes alone do not give a complete picture of what is learned during pre-training. Recent work has begun analyzing how S3Ms encode certain properties, such as phonetic and speaker information, but we still lack a proper understanding of knowledge encoded at the word level and beyond. In this work, we use lightweight analysis methods to study segment-level linguistic properties -- word identity, boundaries, pronunciation, syntactic features, and semantic features -- encoded in S3Ms. We present a comparative study of layer-wise representations from ten S3Ms and find that (i) the frame-level representations within each word segment are not all equally informative, and (ii) the pre-training objective and model size heavily influence the accessibility and distribution of linguistic information across layers. We also find that on several tasks -- word discrimination, word segmentation, and semantic sentence similarity -- S3Ms trained with visual grounding outperform their speech-only counterparts. Finally, our task-based analyses demonstrate improved performance on word segmentation and acoustic word discrimination while using simpler methods than prior work.
• Abstract（参考訳）: 多くの自己教師型音声モデル(S3M)がここ数年で導入され、様々な音声タスクの性能とデータ効率が向上した。 しかし、これらの経験的な成功だけでは、事前トレーニング中に学んだことの完全な図は示されていない。 最近の研究は、音声情報や話者情報などの特定の特性をS3Mでエンコードする方法を分析し始めたが、それでも、単語レベルでエンコードされた知識の適切な理解は欠如している。 本研究では,S3Mで符号化された単語識別,境界,発音,構文的特徴,意味的特徴などセグメントレベルの言語特性を研究するために,軽量な解析手法を用いる。 我々は,10 s3msの層別表現の比較研究を行い,それを見出す。 (i)各単語セグメント内のフレームレベルの表現は、すべて等しく情報的ではなく、 (ii)事前学習目標とモデルサイズは,レイヤ間の言語情報のアクセシビリティと分布に大きく影響する。 また、いくつかのタスク -- 単語の識別、単語分割、意味文の類似性 -- では、視覚的な接頭辞で訓練されたs3msが、音声のみのタスクよりも優れていることも分かりました。 最後に,タスクベース分析により,従来の作業よりも単純な手法を用いて,単語分割と音響単語識別の性能が向上することを示す。

関連論文リスト

• Self-Supervised Speech Representations are More Phonetic than Semantic [52.02626675137819]
  自己教師付き音声モデル(S3Ms)は、音声応用の有効なバックボーンとなっている。 S3Msで符号化された単語レベルの言語特性のよりきめ細かい分析を求める。 本研究により,S3M表現は意味的類似性よりも連続的かつ顕著に音声的類似性を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-12T20:04:44Z)
• Few-Shot Spoken Language Understanding via Joint Speech-Text Models [18.193191170754744]
  テキストと協調的に事前学習した音声表現モデルに関する最近の研究は、音声表現の改善の可能性を示している。 このような共有表現を活用して、音声言語理解タスクにおける限られたデータ可用性の持続的課題に対処する。 事前訓練された音声テキストモデルを用いることで、テキスト上で微調整されたモデルを音声テストデータに効果的に転送できることが分かる。
  論文  参考訳（メタデータ） (2023-10-09T17:59:21Z)
• Leverage Points in Modality Shifts: Comparing Language-only and Multimodal Word Representations [0.8594140167290097]
  マルチモーダル埋め込みは、テキストのみのモデルと比較して、言語の神経表現における意味情報を豊かにすることを目的としている。 本稿では,3つの視覚・言語モデルと3つのテキストのみモデルからの単語埋め込みと,静的・文脈的表現との比較を行った。 これは、46のセマンティックパラメータを含む言語表現に対する視覚的接地の効果に関する最初の大規模研究である。
  論文  参考訳（メタデータ） (2023-06-04T12:53:12Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• On Vocabulary Reliance in Scene Text Recognition [79.21737876442253]
  ボキャブラリ内の単語を持つ画像に対して、手法は良好に機能するが、ボキャブラリ外の単語を持つ画像にはあまり一般化しない。 私たちはこの現象を「語彙依存」と呼んでいる。 本研究では,2家族のモデルが協調的に学習できるようにするための,シンプルで効果的な相互学習戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-08T11:16:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。