Fugu-MT 論文翻訳(概要): Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG

論文の概要: Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG

arxiv url: http://arxiv.org/abs/2006.01262v1
Date: Fri, 29 May 2020 05:50:03 GMT
ステータス: 処理完了
システム内更新日: 2022-11-27 00:05:48.027498
Title: Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG
Title（参考訳）: 脳波からの異なる音響特性の予測と脳波からの直接合成に向けて
Authors: Gautam Krishna, Co Tran, Mason Carnahan, Ahmed Tewfik
Abstract要約: 著者らは脳波(EEG)の特徴から音声を合成するための予備的な結果を提供した。深層学習モデルは生の脳波波形信号を入力とし、直接出力として音声波形を生成する。本稿では,音声知覚・生成過程における非侵襲的脳波信号と音響的特徴の関連性について述べる。
参考スコア（独自算出の注目度）: 3.5786621294068377
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In [1,2] authors provided preliminary results for synthesizing speech from electroencephalography (EEG) features where they first predict acoustic features from EEG features and then the speech is reconstructed from the predicted acoustic features using griffin lim reconstruction algorithm. In this paper we first introduce a deep learning model that takes raw EEG waveform signals as input and directly produces audio waveform as output. We then demonstrate predicting 16 different acoustic features from EEG features. We demonstrate our results for both spoken and listen condition in this paper. The results presented in this paper shows how different acoustic features are related to non-invasive neural EEG signals recorded during speech perception and production.
Abstract（参考訳）: 筆者らは,脳波から最初に音響的特徴を予測し,グリフィンリム再構成アルゴリズムを用いて予測した音響的特徴から音声を再構成する電気脳波(eeg)特徴から音声を合成する予備的結果を示した。本稿では,まず生脳波波形信号を入力とし,直接音声波形を出力として生成するディープラーニングモデルを提案する。次に,脳波から16種類の音響特徴を推定する。本稿では,音声と聞き取りの両条件について検討する。本稿では,音声知覚および生成中に記録された非侵襲性神経脳波信号と音響的特徴の関連について述べる。

関連論文リスト

NeuroSpex: Neuro-Guided Speaker Extraction with Cross-Modal Attention [47.8479647938849]
本稿では,聴取者の脳波応答を唯一の補助的基準キューとして用いた神経誘導型話者抽出モデルであるNeuroSpexを提案する。我々は,注目情報を捕捉する新しい脳波信号エンコーダを提案し,また,音声特徴表現を強化するためのクロスアテンション(CA)機構を提案する。
論文参考訳（メタデータ） (2024-09-04T07:33:01Z)
DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文参考訳（メタデータ） (2023-09-07T13:43:46Z)
Fully Automated End-to-End Fake Audio Detection [57.78459588263812]
本稿では,完全自動エンドツーエンド音声検出手法を提案する。まず、wav2vec事前学習モデルを用いて、音声の高レベル表現を得る。ネットワーク構造には, Light-DARTS という異種アーキテクチャサーチ (DARTS) の修正版を用いる。
論文参考訳（メタデータ） (2022-08-20T06:46:55Z)
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition [57.15942628305797]
調音機能は音響信号歪みに不変であり、正常音声の自動音声認識システムにうまく組み込まれている。本稿では,15時間 TORGO コーパスの並列音響・調音データをモデルトレーニングに用いるクロスドメイン音響・調音(A2A)インバージョン手法を提案する。クロスドメインは102.7時間のUASpeechコーパスに適応し、調音的特徴を生産する。
論文参考訳（メタデータ） (2022-03-19T08:47:18Z)
EEGminer: Discovering Interpretable Features of Brain Activity with Learnable Filters [72.19032452642728]
本稿では,学習可能なフィルタと事前決定された特徴抽出モジュールからなる新しい識別可能なEEGデコーディングパイプラインを提案する。我々は,SEEDデータセットおよび前例のない大きさの新たな脳波データセット上で,脳波信号からの感情認識に向けたモデルの有用性を実証する。発見された特徴は、以前の神経科学の研究と一致し、音楽聴取中の左右の時間領域間の機能的接続プロファイルの顕著な相違など、新たな洞察を提供する。
論文参考訳（メタデータ） (2021-10-19T14:22:04Z)
End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
論文参考訳（メタデータ） (2021-04-27T17:12:30Z)
Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems [3.5786621294068377]
本稿では、新しい制約付き損失関数を持つリカレントニューラルネットワーク(RNN)に基づく変分オートエンコーダ(VAE)モデルを提案する。本研究では, 生の脳波特徴から生成された脳波特徴を用いて, 連続的および孤立的な音声認識システムを構築し, 実験を行った。
論文参考訳（メタデータ） (2020-06-01T06:03:50Z)
Understanding effect of speech perception in EEG based speech recognition systems [3.5786621294068377]
音声と平行に記録された脳波信号を用いて、孤立的かつ連続的な音声認識を行う。我々は、より堅牢な脳波に基づく音声認識システムを設計するために、この音声認識成分を脳波信号から切り離すことが可能かどうかを検討する。
論文参考訳（メタデータ） (2020-05-29T05:56:09Z)
Advancing Speech Synthesis using EEG [3.5786621294068377]
音声文と平行に記録された脳波(EEG)の特徴から音響的特徴を予測するために,注目度モデルを導入する。まず注意モデルを用いて脳波特徴から直接音響特徴を予測し、次に2段階のアプローチを用いて脳波特徴から音響特徴を予測する。
論文参考訳（メタデータ） (2020-04-09T23:58:40Z)
Generating EEG features from Acoustic features [13.089515271477824]
脳波の特徴を音響的特徴から予測するために、リカレントニューラルネットワーク(RNN)に基づく回帰モデルとGAN(Generative Adversarial Network)を用いる。脳波を用いた音声合成における従来の課題と比較した。
論文参考訳（メタデータ） (2020-02-29T16:44:08Z)
Speech Synthesis using EEG [4.312746668772343]
我々は、脳波特徴から直接音響的特徴を予測するために、リカレントニューラルネットワーク(RNN)回帰モデルを利用する。本稿では,脳波を用いた音声合成結果について述べる。
論文参考訳（メタデータ） (2020-02-22T03:53:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。