論文の概要: Improving Speech Decoding from ECoG with Self-Supervised Pretraining

• arxiv url: http://arxiv.org/abs/2405.18639v1
• Date: Tue, 28 May 2024 22:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 21:23:36.535437
• Title: Improving Speech Decoding from ECoG with Self-Supervised Pretraining
• Title（参考訳）: 自己教師付き事前学習によるECoGからの音声復号化
• Authors: Brian A. Yuan, Joseph G. Makin,
• Abstract要約: ノイズコントラスト損失を用いて音声の潜在表現を学習する自己教師付き完全畳み込みモデルを再設計する。 我々は、このモデルを心電図記録(ECoG)に基づいて訓練する。 次に、ラベル付き音声セッションからwav2vecの表現空間にECoGを変換し、最後に教師付きエンコーダデコーダをトレーニングし、これらの表現をテキストにマッピングします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on intracranial brain-machine interfaces has demonstrated that spoken speech can be decoded with high accuracy, essentially by treating the problem as an instance of supervised learning and training deep neural networks to map from neural activity to text. However, such networks pay for their expressiveness with very large numbers of labeled data, a requirement that is particularly burdensome for invasive neural recordings acquired from human patients. On the other hand, these patients typically produce speech outside of the experimental blocks used for training decoders. Making use of such data, and data from other patients, to improve decoding would ease the burden of data collection -- especially onerous for dys- and anarthric patients. Here we demonstrate that this is possible, by reengineering wav2vec -- a simple, self-supervised, fully convolutional model that learns latent representations of audio using a noise-contrastive loss -- for electrocorticographic (ECoG) data. We train this model on unlabelled ECoG recordings, and subsequently use it to transform ECoG from labeled speech sessions into wav2vec's representation space, before finally training a supervised encoder-decoder to map these representations to text. We experiment with various numbers of labeled blocks; for almost all choices, the new representations yield superior decoding performance to the original ECoG data, and in no cases do they yield worse. Performance can also be improved in some cases by pretraining wav2vec on another patient's data. In the best cases, wav2vec's representations decrease word error rates over the original data by upwards of 50%.
• Abstract（参考訳）: 頭蓋内脳と機械のインタフェースに関する最近の研究は、音声音声を高精度にデコードできることを実証している。 しかし、そのようなネットワークは、非常に多くのラベル付きデータで表現力を得るため、人間の患者から取得した侵襲的なニューラル記録には特に負担となる要件である。 一方、これらの患者は典型的には、デコーダの訓練に用いられる実験ブロックの外で音声を生成する。 このようなデータや、他の患者のデータを利用してデコードを改善することで、データ収集の負担が軽減される。 ここでは、心電図(ECoG)データに対するノイズコントラスト損失を用いて音声の潜時表現を学習する、単純で自己監督的で完全な畳み込みモデルであるwav2vecを再設計することで、これが可能であることを実証する。 ラベル付き音声セッションからwav2vecの表現空間にECoGを変換した後、最終的に教師付きエンコーダデコーダをトレーニングし、これらの表現をテキストにマッピングする。 多数のラベル付きブロックを実験し、ほとんどの場合、新しい表現は元のECoGデータよりも優れた復号化性能が得られる。 他の患者のデータにwav2vecを事前学習することで、パフォーマンスを向上させることもできる。 ベストケースでは、wav2vecの表現は元のデータに対する単語誤り率を50%以上減少させる。

関連論文リスト

• Fill in the Gap! Combining Self-supervised Representation Learning with Neural Audio Synthesis for Speech Inpainting [14.402357651227003]
  本稿では,音声信号の欠落部分を周囲の文脈から再構成する音声認識用SSLモデルについて検討する。 その目的のために、SSLエンコーダ、すなわち HuBERT とニューラルヴォコーダ、すなわち HiFiGAN を組み合わせてデコーダの役割を演じる。
  論文  参考訳（メタデータ） (2024-05-30T14:41:39Z)
• Transfer Learning from Pre-trained Language Models Improves End-to-End Speech Summarization [48.35495352015281]
  エンドツーエンド音声要約(E2E SSum)は、入力音声を直接1つのモデルで読みやすい短文に要約する。 E2E SSumモデルでは, 音声対の収集コストが高いため, 訓練データ不足に悩まされ, 不自然な文を出力する傾向にある。 本稿では,E2E SSumデコーダに事前学習言語モデル(LM)をトランスファーラーニングにより組み込むことを初めて提案する。
  論文  参考訳（メタデータ） (2023-06-07T08:23:58Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Synthesizing Speech from Intracranial Depth Electrodes using an Encoder-Decoder Framework [1.623136488969658]
  音声神経補綴は、変形性関節症や変形性関節症患者のコミュニケーションを可能にする可能性がある。 近年の進歩は、皮質表面に置かれた電磁気格子から高品質なテキストデコーディングと音声合成を実証している。
  論文  参考訳（メタデータ） (2021-11-02T09:43:21Z)
• Spotting adversarial samples for speaker verification by neural vocoders [102.1486475058963]
  我々は、自動話者検証(ASV)のための敵対サンプルを見つけるために、ニューラルボコーダを採用する。 元の音声と再合成音声のASVスコアの違いは、真正と逆正のサンプルの識別に良い指標であることがわかった。 私たちのコードは、将来的な比較作業のためにオープンソースにされます。
  論文  参考訳（メタデータ） (2021-07-01T08:58:16Z)
• Data augmentation using generative networks to identify dementia [20.137419355252362]
  生成モデルはデータ拡張の効果的なアプローチとして利用できることを示す。 本稿では,認知症自動検出システムから抽出した音声と音声の異なる特徴に対する類似したアプローチの適用について検討する。
  論文  参考訳（メタデータ） (2020-04-13T15:05:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。