Fugu-MT 論文翻訳(概要): Decoding Natural Images from EEG for Object Recognition

論文の概要: Decoding Natural Images from EEG for Object Recognition

arxiv url: http://arxiv.org/abs/2308.13234v3
Date: Thu, 4 Apr 2024 10:08:10 GMT
ステータス: 処理完了
システム内更新日: 2024-04-05 20:22:43.453159
Title: Decoding Natural Images from EEG for Object Recognition
Title（参考訳）: 物体認識のための脳波からの自然画像の復号
Authors: Yonghao Song, Bingchuan Liu, Xiang Li, Nanlin Shi, Yijun Wang, Xiaorong Gao,
Abstract要約: 本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
参考スコア（独自算出の注目度）: 8.411976038504589
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Electroencephalography (EEG) signals, known for convenient non-invasive acquisition but low signal-to-noise ratio, have recently gained substantial attention due to the potential to decode natural images. This paper presents a self-supervised framework to demonstrate the feasibility of learning image representations from EEG signals, particularly for object recognition. The framework utilizes image and EEG encoders to extract features from paired image stimuli and EEG responses. Contrastive learning aligns these two modalities by constraining their similarity. With the framework, we attain significantly above-chance results on a comprehensive EEG-image dataset, achieving a top-1 accuracy of 15.6% and a top-5 accuracy of 42.8% in challenging 200-way zero-shot tasks. Moreover, we perform extensive experiments to explore the biological plausibility by resolving the temporal, spatial, spectral, and semantic aspects of EEG signals. Besides, we introduce attention modules to capture spatial correlations, providing implicit evidence of the brain activity perceived from EEG data. These findings yield valuable insights for neural decoding and brain-computer interfaces in real-world scenarios. The code will be released on https://github.com/eeyhsong/NICE-EEG.
Abstract（参考訳）: 脳波(EEG)信号は, 簡便な非侵襲的取得で知られているが, 自然画像の復号化の可能性から近年注目されている。本稿では,脳波信号,特に物体認識における学習画像表現の実現可能性を示す自己教師型フレームワークを提案する。このフレームワークは、画像と脳波エンコーダを使用して、ペア画像刺激と脳波応答から特徴を抽出する。対照的な学習は、それらの類似性を制限することによって、これらの2つのモダリティを整合させる。このフレームワークでは、包括的な脳波画像データセットの精度が大幅に向上し、トップ1の精度は15.6%、トップ5の精度は42.8%となり、200ウェイゼロショットタスクに挑戦した。さらに,脳波信号の時間的,空間的,スペクトル的,意味的な側面を解明することにより,生物の可視性を探るための広範な実験を行った。また,脳波データから知覚される脳活動の暗黙の証拠として,空間的相関を捉えたアテンションモジュールを導入する。これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。コードはhttps://github.com/eeyhsong/NICE-EEG.comでリリースされる。

関連論文リスト

Neuro-3D: Towards 3D Visual Decoding from EEG Signals [49.502364730056044]
脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
論文参考訳（メタデータ） (2024-11-19T05:52:17Z)
EEG-ImageNet: An Electroencephalogram Dataset and Benchmarks with Image Visual Stimuli of Multi-Granularity Labels [12.783945503890962]
我々は、画像Netデータセットから選択された4000の画像に露出した16人の被験者からの録音を含む新しいEEGデータセットであるEEG-ImageNetを紹介する。 EEG-ImageNetは、既存の類似のEEGベンチマークの5倍のEEGイメージペアで構成されている。そこで本研究では,対象分類と画像再構成のベンチマークを構築し,対象分類の精度を60%,画像再構成の精度を64%程度で達成できることを示す。
論文参考訳（メタデータ） (2024-06-11T10:52:17Z)
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning [2.087148326341881]
本稿では,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE学習フレームワークを提案する。我々は、脳波信号に適した多変量時系列エンコーダを開発し、正規化コントラスト脳波画像事前学習の有効性を評価する。本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。
論文参考訳（メタデータ） (2024-06-05T16:42:23Z)
Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文参考訳（メタデータ） (2023-10-25T10:26:07Z)
A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文参考訳（メタデータ） (2023-09-21T08:53:51Z)
Decoding visual brain representations from electroencephalography through Knowledge Distillation and latent diffusion models [0.12289361708127873]
本稿では,脳波(EEG)データを用いて,ImageNetデータセットから画像の分類と再構成を行う革新的な手法を提案する。我々は6人の被験者の脳波記録を分析し、それぞれ40のユニークな意味カテゴリーにまたがる50の画像に暴露した。我々は,事前学習した潜伏拡散モデルに基づく画像再構成機構を導入し,脳波を誘発した画像の推定を可能とした。
論文参考訳（メタデータ） (2023-09-08T09:13:50Z)
DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文参考訳（メタデータ） (2023-09-07T13:43:46Z)
Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals [27.92796103924193]
脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
論文参考訳（メタデータ） (2023-07-27T12:54:16Z)
Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文参考訳（メタデータ） (2023-03-26T14:14:58Z)
A Novel Transferability Attention Neural Network Model for EEG Emotion Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。 TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文参考訳（メタデータ） (2020-09-21T02:42:30Z)
Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。この現象は脳波(EEG)などの臨床関連データに特に問題となる。ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文参考訳（メタデータ） (2020-07-31T14:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。