論文の概要: Self-supervised models of audio effectively explain human cortical responses to speech

• arxiv url: http://arxiv.org/abs/2205.14252v1
• Date: Fri, 27 May 2022 22:04:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-05 03:03:41.214359
• Title: Self-supervised models of audio effectively explain human cortical responses to speech
• Title（参考訳）: 音声に対する人間の皮質反応を効果的に説明する自己教師型音声モデル
• Authors: Aditya R. Vaidya, Shailee Jain, Alexander G. Huth
• Abstract要約: 我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
• 参考スコア（独自算出の注目度）: 71.57870452667369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised language models are very effective at predicting high-level cortical responses during language comprehension. However, the best current models of lower-level auditory processing in the human brain rely on either hand-constructed acoustic filters or representations from supervised audio neural networks. In this work, we capitalize on the progress of self-supervised speech representation learning (SSL) to create new state-of-the-art models of the human auditory system. Compared against acoustic baselines, phonemic features, and supervised models, representations from the middle layers of self-supervised models (APC, wav2vec, wav2vec 2.0, and HuBERT) consistently yield the best prediction performance for fMRI recordings within the auditory cortex (AC). Brain areas involved in low-level auditory processing exhibit a preference for earlier SSL model layers, whereas higher-level semantic areas prefer later layers. We show that these trends are due to the models' ability to encode information at multiple linguistic levels (acoustic, phonetic, and lexical) along their representation depth. Overall, these results show that self-supervised models effectively capture the hierarchy of information relevant to different stages of speech processing in human cortex.
• Abstract（参考訳）: 自己教師型言語モデルは、言語理解時の高次皮質反応を予測するのに非常に効果的である。 しかしながら、人間の脳における低レベルの聴覚処理の最良のモデルは、手作りの音響フィルタまたは教師付きオーディオニューラルネットワークの表現に依存する。 本研究では,自己教師型音声表現学習(SSL)の進歩に乗じて,人間の聴覚システムの最先端モデルを新たに構築する。 APC, wav2vec, wav2vec 2.0, HuBERTの中間層からの音響ベースライン, 音韻特性, 教師付きモデルと比較すると, 聴覚野(AC)内のfMRI記録において, 常に最高の予測性能が得られる。 低レベルの聴覚処理に関わる脳領域は初期のsslモデル層を好むが、高レベルの意味領域は後層を好む。 これらの傾向は、モデルが表現深度に沿って複数の言語レベル(音響、音声、語彙)で情報をエンコードする能力に起因していることを示す。 これらの結果は,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を効果的に捉えていることを示す。

関連論文リスト

• Do self-supervised speech and language models extract similar representations as human brain? [2.390915090736061]
  自己教師付き学習(SSL)によって訓練された音声と言語モデルは、音声と言語知覚の間の脳活動と強い整合性を示す。 我々は2つの代表的なSSLモデルであるWav2Vec2.0とGPT-2の脳波予測性能を評価した。
  論文  参考訳（メタデータ） (2023-10-07T01:39:56Z)
• Probing self-supervised speech models for phonetic and phonemic information: a case study in aspiration [17.94683764469626]
  我々は,これらのモデルの学習表現が,人間による基本的な表現区別とどのように一致しているかを評価する。 これらのモデルのアーキテクチャの初期層には、音韻と音韻の区別の堅牢な表現が出現している。 以上の結果から,HuBERTは抽象音韻的区別に対応する低雑音・低次元部分空間を導出することがわかった。
  論文  参考訳（メタデータ） (2023-06-09T20:07:22Z)
• Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations [30.293081541301746]
  wav2vecやHuBERTのような自己教師付き学習(SSL)音声モデルは、音声認識における最先端の性能を実証している。 この問題は,不整合表現の欠如と発話レベルの学習目標が原因である。 我々のモデルは、SUPERBベンチマークの全ての発話レベル非意味タスクにおいて、ラベル付きデータのわずか20%で、現在の最高のモデルであるWavLMより優れています。
  論文  参考訳（メタデータ） (2023-05-14T08:26:24Z)
• Analysing the Impact of Audio Quality on the Use of Naturalistic Long-Form Recordings for Infant-Directed Speech Research [62.997667081978825]
  早期言語習得のモデリングは、幼児が言語スキルをブートストラップする方法を理解することを目的としている。 近年の進歩により、より自然主義的なトレーニングデータを計算モデルに利用できるようになった。 音質がこれらのデータに対する分析やモデリング実験にどう影響するかは、現時点では不明である。
  論文  参考訳（メタデータ） (2023-05-03T08:25:37Z)
• DDKtor: Automatic Diadochokinetic Speech Analysis [13.68342426889044]
  本稿では,無表記・無転写音声から子音と母音を自動的に分離する2つのディープニューラルネットワークモデルを提案する。 若い健康な個人のデータセットの結果から、LSTMモデルは現在の最先端システムよりも優れています。 LSTMモデルは、パーキンソン病データセットの未確認高齢者を対象に、訓練されたヒトアノテータに匹敵する結果を提示する。
  論文  参考訳（メタデータ） (2022-06-29T13:34:03Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning [58.14807331265752]
  モーメントの対比学習によって話者埋め込みがより良く学習できることを示す。 自己監視フレームワークを、データのごく一部しかラベル付けされない半監視シナリオに一般化します。
  論文  参考訳（メタデータ） (2020-12-13T23:23:39Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。