論文の概要: Decoding Natural Images from EEG for Object Recognition
- arxiv url: http://arxiv.org/abs/2308.13234v2
- Date: Sat, 25 Nov 2023 03:36:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 14:57:36.661951
- Title: Decoding Natural Images from EEG for Object Recognition
- Title(参考訳): 物体認識のための脳波からの自然画像の復号
- Authors: Yonghao Song, Bingchuan Liu, Xiang Li, Nanlin Shi, Yijun Wang,
Xiaorong Gao
- Abstract要約: 本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。
我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。
これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
- 参考スコア(独自算出の注目度): 8.9134628989658
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Electroencephalography (EEG) signals, known for convenient non-invasive
acquisition but low signal-to-noise ratio, have recently gained substantial
attention due to the potential to decode natural images. This paper presents a
self-supervised framework to demonstrate the feasibility of learning image
representations from EEG signals, particularly for object recognition. The
framework utilizes image and EEG encoders to extract features from paired image
stimuli and EEG responses. Contrastive learning aligns these two modalities by
constraining their similarity. With the framework, we attain significantly
above-chance results on a comprehensive EEG-image dataset, achieving a top-1
accuracy of 15.6% and a top-5 accuracy of 42.8% in challenging 200-way
zero-shot tasks. Moreover, we perform extensive experiments to explore the
biological plausibility by resolving the temporal, spatial, spectral, and
semantic aspects of EEG signals. Besides, we introduce attention modules to
capture spatial correlations, providing implicit evidence of the brain activity
perceived from EEG data. These findings yield valuable insights for neural
decoding and brain-computer interfaces in real-world scenarios. The code will
be released on https://github.com/eeyhsong/NICE-EEG.
- Abstract(参考訳): 脳波(EEG)信号は, 簡便な非侵襲的取得で知られているが, 自然画像の復号化の可能性から近年注目されている。
本稿では,脳波信号,特に物体認識における学習画像表現の実現可能性を示す自己教師型フレームワークを提案する。
このフレームワークは、画像と脳波エンコーダを使用して、ペア画像刺激と脳波応答から特徴を抽出する。
対照的な学習は、それらの類似性を制約することにより、これらの2つの様相を整合させる。
このフレームワークでは,包括的脳波画像データセットにおいて,200方向ゼロショット課題に対してトップ1精度15.6%,トップ5精度42.8%を達成した。
さらに,脳波信号の時間的,空間的,スペクトル的,意味的側面を解明し,生物学的な可能性を探るための広範な実験を行った。
また,脳波データから知覚される脳活動の暗黙の証拠として,空間的相関を捉えるために注意モジュールを導入する。
これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
コードはhttps://github.com/eeyhsong/NICE-EEGでリリースされる。
関連論文リスト
- Reconstructing Visual Stimulus Images from EEG Signals Based on Deep
Visual Representation Model [5.483279087074447]
本稿では,脳波信号に基づく新しい画像再構成手法を提案する。
高速スイッチング方式で視覚刺激画像の高認識性を実現するため,視覚刺激画像データセットを構築した。
主エンコーダと従属デコーダからなる深部視覚表現モデル(DVRM)を提案し,視覚刺激を再構成する。
論文 参考訳(メタデータ) (2024-03-11T09:19:09Z) - Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。
ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。
本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-10-25T10:26:07Z) - A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳(メタデータ) (2023-09-21T08:53:51Z) - Decoding visual brain representations from electroencephalography
through Knowledge Distillation and latent diffusion models [0.12289361708127873]
本稿では,脳波(EEG)データを用いて,ImageNetデータセットから画像の分類と再構成を行う革新的な手法を提案する。
我々は6人の被験者の脳波記録を分析し、それぞれ40のユニークな意味カテゴリーにまたがる50の画像に暴露した。
我々は,事前学習した潜伏拡散モデルに基づく画像再構成機構を導入し,脳波を誘発した画像の推定を可能とした。
論文 参考訳(メタデータ) (2023-09-08T09:13:50Z) - DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial
Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。
現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。
本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T13:43:46Z) - Seeing through the Brain: Image Reconstruction of Visual Perception from
Human Brain Signals [27.92796103924193]
脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。
我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
論文 参考訳(メタデータ) (2023-07-27T12:54:16Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - fMRI from EEG is only Deep Learning away: the use of interpretable DL to
unravel EEG-fMRI relationships [68.8204255655161]
多チャンネル脳波データからいくつかの皮質下領域の活性を回復するための解釈可能な領域基底解を提案する。
我々は,皮質下核の血行動態信号の頭皮脳波予測の空間的・時間的パターンを復元する。
論文 参考訳(メタデータ) (2022-10-23T15:11:37Z) - EEG2Vec: Learning Affective EEG Representations via Variational
Autoencoders [27.3162026528455]
我々は、感情的な刺激に反応して、潜在ベクトル空間におけるニューラルデータを表現することが、両方の感情状態を予測するのに役立つかどうかを考察する。
脳波データから生成的識別的表現を学習するための条件付き変分オートエンコーダベースのフレームワークであるEEG2Vecを提案する。
論文 参考訳(メタデータ) (2022-07-16T19:25:29Z) - A Novel Transferability Attention Neural Network Model for EEG Emotion
Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。
TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。
これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文 参考訳(メタデータ) (2020-09-21T02:42:30Z) - Uncovering the structure of clinical EEG signals with self-supervised
learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。
この現象は脳波(EEG)などの臨床関連データに特に問題となる。
ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文 参考訳(メタデータ) (2020-07-31T14:34:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。