Fugu-MT 論文翻訳(概要): MAD: Multi-Alignment MEG-to-Text Decoding

論文の概要: MAD: Multi-Alignment MEG-to-Text Decoding

arxiv url: http://arxiv.org/abs/2406.01512v1
Date: Mon, 3 Jun 2024 16:43:10 GMT
ステータス: 処理完了
システム内更新日: 2024-06-05 22:00:59.805660
Title: MAD: Multi-Alignment MEG-to-Text Decoding
Title（参考訳）: MAD:マルチアライメントMEG-to-Textデコーディング
Authors: Yiqian Yang, Hyejeong Jo, Yiqun Duan, Qiang Zhang, Jinni Zhou, Won Hee Lee, Renjing Xu, Hui Xiong,
Abstract要約: 本稿では,複数のアライメントを持つ音声復号化フレームワークを用いて,MEG信号をテキストに変換する手法を提案する。我々は、$textitGWilliams$データセットのBLEU-1スコアを著しく達成し、BLEU-1メトリックのベースラインを5.49から10.44に大幅に上回った。
参考スコア（独自算出の注目度）: 21.155031900491654
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deciphering language from brain activity is a crucial task in brain-computer interface (BCI) research. Non-invasive cerebral signaling techniques including electroencephalography (EEG) and magnetoencephalography (MEG) are becoming increasingly popular due to their safety and practicality, avoiding invasive electrode implantation. However, current works under-investigated three points: 1) a predominant focus on EEG with limited exploration of MEG, which provides superior signal quality; 2) poor performance on unseen text, indicating the need for models that can better generalize to diverse linguistic contexts; 3) insufficient integration of information from other modalities, which could potentially constrain our capacity to comprehensively understand the intricate dynamics of brain activity. This study presents a novel approach for translating MEG signals into text using a speech-decoding framework with multiple alignments. Our method is the first to introduce an end-to-end multi-alignment framework for totally unseen text generation directly from MEG signals. We achieve an impressive BLEU-1 score on the $\textit{GWilliams}$ dataset, significantly outperforming the baseline from 5.49 to 10.44 on the BLEU-1 metric. This improvement demonstrates the advancement of our model towards real-world applications and underscores its potential in advancing BCI research. Code is available at $\href{https://github.com/NeuSpeech/MAD-MEG2text}{https://github.com/NeuSpeech/MAD-MEG2text}$.
Abstract（参考訳）: 脳活動から言語を解読することは脳-コンピュータインターフェース(BCI)研究において重要な課題である。脳波(EEG)や脳磁図(MEG)などの非侵襲的な脳シグナル伝達技術は、その安全性と実用性から、侵襲的な電極移植を避けることで、ますます人気が高まっている。しかし、現在の研究は以下の3点を定めていない。 1)より優れた信号品質を提供するMEGの探索が限定された脳波に主眼を置いている。 2) 未知のテキストの性能が劣り,多様な言語的文脈によりよい一般化が可能なモデルの必要性が示される。 3)他のモダリティからの情報の不十分な統合は、脳活動の複雑なダイナミクスを包括的に理解するために我々の能力を制限する可能性がある。本研究では,複数のアライメントを持つ音声復号化フレームワークを用いて,MEG信号をテキストに変換する手法を提案する。提案手法は,MEG信号から完全に見えないテキストを生成するための,エンドツーエンドのマルチアライメントフレームワークを初めて導入した手法である。我々は、$\textit{GWilliams}$データセット上でBLEU-1の印象的なスコアを達成し、BLEU-1測定値のベースラインを5.49から10.44に大幅に上回った。この改良は、実世界の応用に向けての我々のモデルの進歩を実証し、BCI研究の進展の可能性を裏付けるものである。コードは $\href{https://github.com/NeuSpeech/MAD-MEG2text}{https://github.com/NeuSpeech/MAD-MEG2text}$で入手できる。

関連論文リスト

NeuGPT: Unified multi-modal Neural GPT [48.70587003475798]
NeuGPTは、ニューラルネットワーク研究の断片化された風景を調和させるために設計された、画期的なマルチモーダル言語生成モデルである。我々のモデルは主に脳からテキストへのデコーディングに焦点をあて、BLEU-1では6.94から12.92に、ROUGE-1Fでは6.93から13.06に改善した。また、脳の信号をシミュレートし、新しい神経インターフェースとして機能する。
論文参考訳（メタデータ） (2024-10-28T10:53:22Z)
BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [29.78480739360263]
本稿では,vEctor-quantized speCtrogram を用いた意味脳信号復号法を提案する。 BrainECHOは、1)音声スペクトログラムの自動符号化、2)ブレインオーディオ遅延空間アライメント、3)Whisperファインタニングによるセマンティックテキスト生成を行う。 BrainECHOは、2つの広く受け入れられたリソースで同じデータ分割設定の下で最先端のメソッドより優れている。
論文参考訳（メタデータ） (2024-10-19T04:29:03Z)
BELT-2: Bootstrapping EEG-to-Language representation alignment for multi-task brain decoding [24.54436986074267]
本稿では,脳波信号からの符号化性能と復号性能の両立を目的としたマルチタスクモデルであるBELT-2を紹介する。 BELT-2は、1)バイトペア符号化(BPE)レベルのEEG言語アライメントを採用し、2)マルチタスクトレーニングとデコーディングをEEGドメインに統合する最初の試みである。これらの革新的な試みによりBELT-2は先駆的なブレークスルーとなり、非侵襲的な脳信号からコヒーレントで読みやすい文を復号できる分野における最初の作品となった。
論文参考訳（メタデータ） (2024-08-28T12:30:22Z)
NeuSpeech: Decode Neural signal as Speech [21.155031900491654]
音声復号化における脳からテキストへのMEG信号の変換について検討する。 BLEU-1スコアは60.30点,52.89点であり,教師力の事前訓練は行わない。
論文参考訳（メタデータ） (2024-03-04T05:55:01Z)
Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder [69.7813498468116]
コントラスト型脳波テキストマスケード自動エンコーダ(CET-MAE)を提案する。また、E2T-PTR(Pretrained Transferable Representationsを用いたEEG-to-Text decoding)と呼ばれるフレームワークを開発し、EEGシーケンスからテキストをデコードする。
論文参考訳（メタデータ） (2024-02-27T11:45:21Z)
BELT:Bootstrapping Electroencephalography-to-Language Decoding and Zero-Shot Sentiment Classification by Natural Language Supervision [31.382825932199935]
提案手法は,脳波表現学習をブートストラップする汎用的で効率的なフレームワークである。意味情報とゼロショットの一般化を理解するための大きなLM能力により、BELTはインターネットスケールのデータセットで訓練された大規模なLMを使用する。脳から言語への翻訳やゼロショット感情分類を含む2つの特徴ある脳復号タスクについて、最先端の成果を得た。
論文参考訳（メタデータ） (2023-09-21T13:24:01Z)
Probing Brain Context-Sensitivity with Masked-Attention Generation [87.31930367845125]
我々は、GPT-2変換器を用いて、一定量の文脈情報をキャプチャする単語埋め込みを生成する。そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。
論文参考訳（メタデータ） (2023-05-23T09:36:21Z)
Deep Bidirectional Language-Knowledge Graph Pretraining [159.9645181522436]
DRAGONは、テキストとKGを大規模に融合した言語知識基盤モデルを事前学習するための自己教師型アプローチである。我々のモデルは、入力としてテキストセグメントと関連するKGサブグラフのペアを取り、両モードから情報を双方向に融合する。
論文参考訳（メタデータ） (2022-10-17T18:02:52Z)
Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文参考訳（メタデータ） (2021-12-05T21:57:22Z)
Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。