論文の概要: Decoding Continuous Character-based Language from Non-invasive Brain Recordings

• arxiv url: http://arxiv.org/abs/2403.11183v2
• Date: Tue, 19 Mar 2024 10:09:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 12:44:53.229761
• Title: Decoding Continuous Character-based Language from Non-invasive Brain Recordings
• Title（参考訳）: 非侵襲的脳記録から連続文字ベース言語を復号する
• Authors: Cenyuan Zhang, Xiaoqing Zheng, Ruicheng Yin, Shujie Geng, Jianhan Xu, Xuan Gao, Changze Lv, Zixuan Ling, Xuanjing Huang, Miao Cao, Jianfeng Feng,
• Abstract要約: 本研究では,単心的非侵襲的fMRI記録から連続言語を復号する手法を提案する。 文字ベースのデコーダは、固有の文字構造を特徴とする連続言語の意味的再構成のために設計されている。 被験者間での単一の試行から連続言語を復号化できることは、非侵襲的な言語脳-コンピュータインタフェースの有望な応用を実証している。
• 参考スコア（独自算出の注目度）: 33.11373366800627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deciphering natural language from brain activity through non-invasive devices remains a formidable challenge. Previous non-invasive decoders either require multiple experiments with identical stimuli to pinpoint cortical regions and enhance signal-to-noise ratios in brain activity, or they are limited to discerning basic linguistic elements such as letters and words. We propose a novel approach to decoding continuous language from single-trial non-invasive fMRI recordings, in which a three-dimensional convolutional network augmented with information bottleneck is developed to automatically identify responsive voxels to stimuli, and a character-based decoder is designed for the semantic reconstruction of continuous language characterized by inherent character structures. The resulting decoder can produce intelligible textual sequences that faithfully capture the meaning of perceived speech both within and across subjects, while existing decoders exhibit significantly inferior performance in cross-subject contexts. The ability to decode continuous language from single trials across subjects demonstrates the promising applications of non-invasive language brain-computer interfaces in both healthcare and neuroscience.
• Abstract（参考訳）: 脳の活動から非侵襲的なデバイスを通して自然言語を解読することは、依然として恐ろしい課題だ。 従来の非侵襲デコーダは、脳活動における信号と雑音の比を高めるために、同じ刺激で複数の実験を必要とするか、文字や単語のような基本的な言語要素を識別することに限定されている。 本研究では,情報ボトルネックを付加した3次元畳み込みネットワークを開発して応答性ボクセルを自動同定し,固有な文字構造を特徴とする連続言語を意味的再構成するために文字ベースデコーダを設計する,単心的非侵襲的fMRI記録から連続言語を復号する手法を提案する。 得られたデコーダは、被写体内および被写体間の両方で知覚された音声の意味を忠実に捉え、既存のデコーダは、クロスオブジェクトコンテキストにおいて著しく劣る性能を示す。 被験者を対象とする単一の試験から連続言語を復号する能力は、医療と神経科学の両方において非侵襲的な言語脳-コンピュータインターフェースの有望な応用を示す。

関連論文リスト

• BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [29.78480739360263]
  本稿では,vEctor-quantized speCtrogram を用いた意味脳信号復号法を提案する。 BrainECHOは、1)音声スペクトログラムの自動符号化、2)ブレインオーディオ遅延空間アライメント、3)Whisperファインタニングによるセマンティックテキスト生成を行う。 BrainECHOは、2つの広く受け入れられたリソースで同じデータ分割設定の下で最先端のメソッドより優れている。
  論文  参考訳（メタデータ） (2024-10-19T04:29:03Z)
• A multimodal LLM for the non-invasive decoding of spoken text from brain recordings [0.4187344935012482]
  fMRI信号から音声テキストを復号するためのマルチモーダルLLMを提案する。 提案アーキテクチャは, (i) 特定のトランスフォーマーから派生したエンコーダ上に構築され, エンコーダに付加された埋め込み層と, 最先端のアテンション機構が組み込まれている。 fMRIと会話信号が同期的に記録される、人間-ロボット相互作用と人間-ロボット相互作用のセットからなるコーパス上で行われたベンチマーク。
  論文  参考訳（メタデータ） (2024-09-29T14:03:39Z)
• Language Reconstruction with Brain Predictive Coding from fMRI Data [28.217967547268216]
  予測符号化の理論は、人間の脳が将来的な単語表現を継続的に予測していることを示唆している。 textscPredFTは、BLEU-1スコアが最大27.8%$の最先端のデコード性能を実現する。
  論文  参考訳（メタデータ） (2024-05-19T16:06:02Z)
• Language Generation from Brain Recordings [68.97414452707103]
  本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。 提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。 本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
  論文  参考訳（メタデータ） (2023-11-16T13:37:21Z)
• Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
  スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2022-12-01T12:36:26Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。