Fugu-MT 論文翻訳(概要): Decoding Natural Images from EEG for Object Recognition

論文の概要: Decoding Natural Images from EEG for Object Recognition

arxiv url: http://arxiv.org/abs/2308.13234v1
Date: Fri, 25 Aug 2023 08:05:37 GMT
ステータス: 処理完了
システム内更新日: 2023-08-28 14:41:07.147247
Title: Decoding Natural Images from EEG for Object Recognition
Title（参考訳）: 物体認識のための脳波からの自然画像の復号
Authors: Yonghao Song, Bingchuan Liu, Xiang Li, Nanlin Shi, Yijun Wang, Xiaorong Gao
Abstract要約: 脳波信号から画像表現を学習するための自己教師型フレームワークを提案する。類似性を制限することによって、これらの2つのモダリティを整合させるために、対照的な学習を採用する。我々のアプローチは、最も広範な脳波画像データセットの最先端結果を達成する。
参考スコア（独自算出の注目度）: 8.9134628989658
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Electroencephalogram (EEG) is a brain signal known for its high time resolution and moderate signal-to-noise ratio. Whether natural images can be decoded from EEG has been a hot issue recently. In this paper, we propose a self-supervised framework to learn image representations from EEG signals. Specifically, image and EEG encoders are first used to extract features from paired image stimuli and EEG responses. Then we employ contrastive learning to align these two modalities by constraining their similarity. Additionally, we introduce two plug-in-play modules that capture spatial correlations before the EEG encoder. Our approach achieves state-of-the-art results on the most extensive EEG-image dataset, with a top-1 accuracy of 15.6% and a top-5 accuracy of 42.8% in 200-way zero-shot tasks. More importantly, extensive experiments analyzing the temporal, spatial, spectral, and semantic aspects of EEG signals demonstrate good biological plausibility. These results offer valuable insights for neural decoding and real-world applications of brain-computer interfaces. The code will be released on https://github.com/eeyhsong/NICE-EEG.
Abstract（参考訳）: 脳波(Electroencephalogram、EEG)は、高分解能と中程度の信号-雑音比で知られる脳信号である。自然画像が脳波からデコードできるかどうかは、最近ホットな問題です。本稿では,脳波信号から画像表現を学習するための自己教師型フレームワークを提案する。具体的には、まず画像と脳波エンコーダを使用して、ペア画像刺激と脳波応答から特徴を抽出する。次に、これらの2つの様相を相似性を制約して整合させるために、対比学習を用いる。さらに,eegエンコーダの前に空間相関をキャプチャするプラグイン・イン・プレイモジュールを2つ導入する。我々の手法は、200ウェイゼロショットタスクにおいて、トップ1の精度が15.6%、トップ5の精度が42.8%の、最も広範なEEGイメージデータセットの最先端結果を達成する。より重要なことに、脳波信号の時間的、空間的、スペクトル的、意味的な側面を分析する広範な実験は、生物学的な可能性を示す。これらの結果は、ニューラルデコーディングと脳-コンピュータインタフェースの実際の応用に貴重な洞察を与える。コードはhttps://github.com/eeyhsong/NICE-EEGでリリースされる。

関連論文リスト

Neuro-3D: Towards 3D Visual Decoding from EEG Signals [49.502364730056044]
脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
論文参考訳（メタデータ） (2024-11-19T05:52:17Z)
EEG-ImageNet: An Electroencephalogram Dataset and Benchmarks with Image Visual Stimuli of Multi-Granularity Labels [12.783945503890962]
我々は、画像Netデータセットから選択された4000の画像に露出した16人の被験者からの録音を含む新しいEEGデータセットであるEEG-ImageNetを紹介する。 EEG-ImageNetは、既存の類似のEEGベンチマークの5倍のEEGイメージペアで構成されている。そこで本研究では,対象分類と画像再構成のベンチマークを構築し,対象分類の精度を60%,画像再構成の精度を64%程度で達成できることを示す。
論文参考訳（メタデータ） (2024-06-11T10:52:17Z)
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning [2.087148326341881]
本稿では,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE学習フレームワークを提案する。我々は、脳波信号に適した多変量時系列エンコーダを開発し、正規化コントラスト脳波画像事前学習の有効性を評価する。本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。
論文参考訳（メタデータ） (2024-06-05T16:42:23Z)
Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文参考訳（メタデータ） (2023-10-25T10:26:07Z)
A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文参考訳（メタデータ） (2023-09-21T08:53:51Z)
Decoding visual brain representations from electroencephalography through Knowledge Distillation and latent diffusion models [0.12289361708127873]
本稿では,脳波(EEG)データを用いて,ImageNetデータセットから画像の分類と再構成を行う革新的な手法を提案する。我々は6人の被験者の脳波記録を分析し、それぞれ40のユニークな意味カテゴリーにまたがる50の画像に暴露した。我々は,事前学習した潜伏拡散モデルに基づく画像再構成機構を導入し,脳波を誘発した画像の推定を可能とした。
論文参考訳（メタデータ） (2023-09-08T09:13:50Z)
DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial Attention Detection [49.196182908826565]
AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
論文参考訳（メタデータ） (2023-09-07T13:43:46Z)
Seeing through the Brain: Image Reconstruction of Visual Perception from Human Brain Signals [27.92796103924193]
脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
論文参考訳（メタデータ） (2023-07-27T12:54:16Z)
Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文参考訳（メタデータ） (2023-03-26T14:14:58Z)
A Novel Transferability Attention Neural Network Model for EEG Emotion Recognition [51.203579838210885]
脳波感情認識のための伝達型注目ニューラルネットワーク(TANN)を提案する。 TANNは、伝達可能な脳波領域のデータとサンプルを適応的に強調することにより、感情的な識別情報を学習する。これは、複数の脳領域レベル判別器と1つのサンプルレベル判別器の出力を測定することで実現できる。
論文参考訳（メタデータ） (2020-09-21T02:42:30Z)
Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。この現象は脳波(EEG)などの臨床関連データに特に問題となる。ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
論文参考訳（メタデータ） (2020-07-31T14:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。