論文の概要: How Many Bytes Can You Take Out Of Brain-To-Text Decoding?

• arxiv url: http://arxiv.org/abs/2405.14055v1
• Date: Wed, 22 May 2024 22:57:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 19:44:34.065221
• Title: How Many Bytes Can You Take Out Of Brain-To-Text Decoding?
• Title（参考訳）: 脳とテキストのデコードから何バイトのバイトを抽出できるのか?
• Authors: Richard Antonello, Nihita Sarma, Jerry Tang, Jiaru Song, Alexander Huth,
• Abstract要約: 脳からテキストへのデコーダのための情報に基づく評価指標を提案する。 既存の最先端の連続テキストデコーダを拡張する2つの方法を示す。 アルゴリズムのさらなる改良により、実践的な脳からテキストへのデコーダが実現可能であると結論付けている。
• 参考スコア（独自算出の注目度）: 45.665946951551746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Brain-computer interfaces have promising medical and scientific applications for aiding speech and studying the brain. In this work, we propose an information-based evaluation metric for brain-to-text decoders. Using this metric, we examine two methods to augment existing state-of-the-art continuous text decoders. We show that these methods, in concert, can improve brain decoding performance by upwards of 40% when compared to a baseline model. We further examine the informatic properties of brain-to-text decoders and show empirically that they have Zipfian power law dynamics. Finally, we provide an estimate for the idealized performance of an fMRI-based text decoder. We compare this idealized model to our current model, and use our information-based metric to quantify the main sources of decoding error. We conclude that a practical brain-to-text decoder is likely possible given further algorithmic improvements.
• Abstract（参考訳）: 脳-コンピュータインターフェースは、スピーチを支援し、脳を研究するための医学的および科学的な応用を約束している。 本研究では,脳からテキストへのデコーダに対する情報に基づく評価指標を提案する。 このメトリクスを用いて、既存の最先端の連続テキストデコーダを拡張する2つの方法を検討する。 これらの手法は, ベースラインモデルと比較して, 脳の復号性能を40%以上向上させることができることを示す。 さらに、脳からテキストへのデコーダの情報的特性について検討し、Zipfianのパワー則のダイナミクスを実証的に示す。 最後に、fMRIベースのテキストデコーダの理想的な性能を推定する。 我々は、この理想化されたモデルを現在のモデルと比較し、情報に基づく計量を用いて、デコードエラーの主な原因を定量化する。 アルゴリズムのさらなる改良により、実践的な脳からテキストへのデコーダが実現可能であると結論付けている。

関連論文リスト

• A multimodal LLM for the non-invasive decoding of spoken text from brain recordings [0.4187344935012482]
  fMRI信号から音声テキストを復号するためのマルチモーダルLLMを提案する。 提案アーキテクチャは, (i) 特定のトランスフォーマーから派生したエンコーダ上に構築され, エンコーダに付加された埋め込み層と, 最先端のアテンション機構が組み込まれている。 fMRIと会話信号が同期的に記録される、人間-ロボット相互作用と人間-ロボット相互作用のセットからなるコーパス上で行われたベンチマーク。
  論文  参考訳（メタデータ） (2024-09-29T14:03:39Z)
• Language Reconstruction with Brain Predictive Coding from fMRI Data [28.217967547268216]
  予測符号化の理論は、人間の脳が将来的な単語表現を継続的に予測していることを示唆している。 textscPredFTは、BLEU-1スコアが最大27.8%$の最先端のデコード性能を実現する。
  論文  参考訳（メタデータ） (2024-05-19T16:06:02Z)
• Modality-Agnostic fMRI Decoding of Vision and Language [4.837421245886033]
  我々は、画像とテキスト記述の両方を見ている人々の大規模なfMRIデータセット(被験者あたり8,500トライアル)を導入し、使用します。 この新しいデータセットは、被験者が見ている刺激を予測できる単一のデコーダである、モダリティに依存しないデコーダの開発を可能にする。 我々はこのようなデコーダをトレーニングし、脳の信号を様々な利用可能な視覚、言語、マルチモーダル(ビジョン+言語)モデルから刺激表現にマッピングする。
  論文  参考訳（メタデータ） (2024-03-18T13:30:03Z)
• Deep Neural Networks and Brain Alignment: Brain Encoding and Decoding (Survey) [9.14580723964253]
  AIモデルを使って脳についての洞察を得ることができるか? 脳記録に関する深層学習モデルの情報はどのようになっているか? 復号化モデルは、fMRIが与えられた刺激を再構成する逆問題を解決する。 近年,自然言語処理,コンピュータビジョン,音声に対するディープラーニングモデルの有効性に触発されて,ニューラルコーディングや復号化モデルが提案されている。
  論文  参考訳（メタデータ） (2023-07-17T06:54:36Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot Sentiment Classification [78.120927891455]
  最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。 本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。 脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
  論文  参考訳（メタデータ） (2021-12-05T21:57:22Z)
• Brain2Word: Decoding Brain Activity for Language Generation [14.24200473508597]
  対象者からfMRIデータをデコードできるモデルを提案する。 この課題に対して,本モデルでは5.22%のTop-1と13.59%のTop-5の精度を実現している。
  論文  参考訳（メタデータ） (2020-09-10T10:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。