論文の概要: UniCoRN: Unified Cognitive Signal ReconstructioN bridging cognitive
signals and human language
- arxiv url: http://arxiv.org/abs/2307.05355v1
- Date: Thu, 6 Jul 2023 05:26:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-16 03:54:59.537852
- Title: UniCoRN: Unified Cognitive Signal ReconstructioN bridging cognitive
signals and human language
- Title(参考訳): UniCoRN:認知信号と人間の言語をブリッジする統合認知信号再構成
- Authors: Nuwa Xi, Sendong Zhao, Haochun Wang, Chi Liu, Bing Qin and Ting Liu
- Abstract要約: 本稿では,fMRI時系列と人間の言語を橋渡しする最初のオープン語彙課題であるfMRI2textを提案する。
我々は、脳復号のためのベースラインソリューションUniCoRN: Unified Cognitive Signal ReconstructioNを提案する。
このモデルでは、fMRI2text上で34.77%のBLEUスコアが得られ、EEGto-textデコーディングに一般化すると37.04%のBLEUが得られる。
- 参考スコア(独自算出の注目度): 23.623579364849526
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Decoding text stimuli from cognitive signals (e.g. fMRI) enhances our
understanding of the human language system, paving the way for building
versatile Brain-Computer Interface. However, existing studies largely focus on
decoding individual word-level fMRI volumes from a restricted vocabulary, which
is far too idealized for real-world application. In this paper, we propose
fMRI2text, the first openvocabulary task aiming to bridge fMRI time series and
human language. Furthermore, to explore the potential of this new task, we
present a baseline solution, UniCoRN: the Unified Cognitive Signal
ReconstructioN for Brain Decoding. By reconstructing both individual time
points and time series, UniCoRN establishes a robust encoder for cognitive
signals (fMRI & EEG). Leveraging a pre-trained language model as decoder,
UniCoRN proves its efficacy in decoding coherent text from fMRI series across
various split settings. Our model achieves a 34.77% BLEU score on fMRI2text,
and a 37.04% BLEU when generalized to EEGto-text decoding, thereby surpassing
the former baseline. Experimental results indicate the feasibility of decoding
consecutive fMRI volumes, and the effectiveness of decoding different cognitive
signals using a unified structure.
- Abstract(参考訳): 認知信号(例えばfMRI)からテキスト刺激を復号することで、人間の言語システムに対する理解を深め、汎用的なBrain-Computer Interfaceを構築する道を開く。
しかし、既存の研究では、個々の単語レベルのfMRIボリュームを制限された語彙から復号することに重点を置いている。
本稿では,fMRI時系列と人間の言語を橋渡しする最初のオープン語彙課題であるfMRI2textを提案する。
さらに,この課題の可能性を探究するために,脳デコードのための統一認知信号再構成(unified cognitive signal reconstruction for brain decoding)というベースラインソリューションを提案する。
個々の時間と時系列の両方を再構成することで、ユニコーンは認知信号のためのロバストなエンコーダ(fmriと脳波)を確立する。
事前訓練された言語モデルをデコーダとして活用することにより、UniCoRNは様々な分割設定でfMRIシリーズからコヒーレントテキストを復号する効果を証明している。
このモデルでは、fMRI2text上で34.77%のBLEUスコアを達成し、EEGto-textデコーディングに一般化すると37.04%のBLEUを達成し、その結果、以前のベースラインを上回った。
実験結果から, 連続fMRIボリュームの復号化の実現可能性, 統合構造を用いた認知信号の復号化の有効性が示唆された。
関連論文リスト
- MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Decoding Continuous Character-based Language from Non-invasive Brain Recordings [33.11373366800627]
本研究では,単心的非侵襲的fMRI記録から連続言語を復号する手法を提案する。
文字ベースのデコーダは、固有の文字構造を特徴とする連続言語の意味的再構成のために設計されている。
被験者間での単一の試行から連続言語を復号化できることは、非侵襲的な言語脳-コンピュータインタフェースの有望な応用を実証している。
論文 参考訳(メタデータ) (2024-03-17T12:12:33Z) - Data Contamination Issues in Brain-to-Text Decoding [37.863706557699146]
非侵襲的な認知信号を自然言語にデコードすることは、長い間、実用的な脳-コンピュータインターフェース(BCI)の構築の目標であった。
最近の大きなマイルストーンは、機能的磁気共鳴イメージング(fMRI)や脳波(EEG)といった認知信号を、オープンな語彙設定の下でテキストに復号することに成功している。
認知信号復号タスクにおいて、トレーニング、検証、テストのためのデータセットを分割する方法はまだ議論の余地がある。
論文 参考訳(メタデータ) (2023-12-18T07:22:39Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - Sequential Best-Arm Identification with Application to Brain-Computer
Interface [34.87975833920409]
脳コンピュータインタフェース(BCI)は、脳と外部デバイスまたはコンピュータシステムとの直接通信を可能にする技術である。
脳波(EEG)と事象関連電位(ERP)に基づくスペルシステム(ERP)は、物理キーボードを使わずに単語をスペルできるBCIの一種である。
本稿では,固定信頼度設定と固定予算設定の下での逐次トップ2トンプソンサンプリング(STTS)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-05-17T18:49:44Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - Open Vocabulary Electroencephalography-To-Text Decoding and Zero-shot
Sentiment Classification [78.120927891455]
最先端のブレイン・トゥ・テキストシステムは、ニューラルネットワークを使用して脳信号から直接言語を復号することに成功した。
本稿では,自然読解課題における語彙的脳波(EEG)-テキスト列列列復号化とゼロショット文感性分類に問題を拡張する。
脳波-テキストデコーディングで40.1%のBLEU-1スコア、ゼロショット脳波に基づく3次感情分類で55.6%のF1スコアを達成し、教師付きベースラインを著しく上回る結果となった。
論文 参考訳(メタデータ) (2021-12-05T21:57:22Z) - CogAlign: Learning to Align Textual Neural Representations to Cognitive
Language Processing Signals [60.921888445317705]
自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。
我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
論文 参考訳(メタデータ) (2021-06-10T07:10:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。