論文の概要: Learning Robust Deep Visual Representations from EEG Brain Recordings
- arxiv url: http://arxiv.org/abs/2310.16532v1
- Date: Wed, 25 Oct 2023 10:26:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 15:24:15.083371
- Title: Learning Robust Deep Visual Representations from EEG Brain Recordings
- Title（参考訳）: 脳波記録によるロバストな深部視覚表現の学習
- Authors: Prajwal Singh, Dwip Dalal, Gautam Vashishtha, Krishna Miyapuram,
Shanmuganathan Raman
- Abstract要約: 本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。
ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。
本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
- 参考スコア（独自算出の注目度）: 13.768240137063428
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decoding the human brain has been a hallmark of neuroscientists and
Artificial Intelligence researchers alike. Reconstruction of visual images from
brain Electroencephalography (EEG) signals has garnered a lot of interest due
to its applications in brain-computer interfacing. This study proposes a
two-stage method where the first step is to obtain EEG-derived features for
robust learning of deep representations and subsequently utilize the learned
representation for image generation and classification. We demonstrate the
generalizability of our feature extraction pipeline across three different
datasets using deep-learning architectures with supervised and contrastive
learning methods. We have performed the zero-shot EEG classification task to
support the generalizability claim further. We observed that a subject
invariant linearly separable visual representation was learned using EEG data
alone in an unimodal setting that gives better k-means accuracy as compared to
a joint representation learning between EEG and images. Finally, we propose a
novel framework to transform unseen images into the EEG space and reconstruct
them with approximation, showcasing the potential for image reconstruction from
EEG signals. Our proposed image synthesis method from EEG shows 62.9% and
36.13% inception score improvement on the EEGCVPR40 and the Thoughtviz
datasets, which is better than state-of-the-art performance in GAN.
- Abstract（参考訳）: 人間の脳をデコードすることは、神経科学者や人工知能研究者の目玉だ。
脳脳波(EEG)信号からの視覚画像の再構成は、脳とコンピュータのインターフェイスへの応用により、多くの関心を集めている。
本研究は,脳波に基づく深部表現の頑健な学習のための第1段階として,画像生成と分類に学習表現を利用する2段階の手法を提案する。
教師付きおよびコントラスト学習手法を用いたディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を示す。
我々は、一般化可能性主張をさらに支援するために、ゼロショット脳波分類タスクを実行した。
本研究は,脳波データのみを用いて,脳波と画像の協調表現学習と比較して,k平均精度が向上する一様条件下で,被写体不変な線形分離可能な視覚表現を学習することを目的とした。
最後に,未確認画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案し,脳波信号から画像再構成の可能性を示す。
脳波を用いた画像合成法では, 脳GCVPR40とThoughtvizデータセットの開始スコアが62.9%,36.13%向上した。
関連論文リスト
- Neuro-3D: Towards 3D Visual Decoding from EEG Signals [49.502364730056044]
脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。
まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。
脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
論文 参考訳（メタデータ） (2024-11-19T05:52:17Z) - Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning [2.087148326341881]
本稿では,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE学習フレームワークを提案する。
我々は、脳波信号に適した多変量時系列エンコーダを開発し、正規化コントラスト脳波画像事前学習の有効性を評価する。
本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。
論文 参考訳（メタデータ） (2024-06-05T16:42:23Z) - Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models [49.3179290313959]
感情中心型生成的リプレイ (ECgr) は, 生成的対向ネットワークから合成画像を統合することで, この課題に対処する。
ECgrは、生成された画像の忠実性を保証するために品質保証アルゴリズムを組み込んでいる。
4つの多様な表情データセットに対する実験結果から,擬似リハーサル法により生成されたイメージを組み込むことで,ターゲットとするデータセットとソースデータセットのトレーニングが促進されることが示された。
論文 参考訳（メタデータ） (2024-04-18T15:28:34Z) - Reconstructing Visual Stimulus Images from EEG Signals Based on Deep
Visual Representation Model [5.483279087074447]
本稿では,脳波信号に基づく新しい画像再構成手法を提案する。
高速スイッチング方式で視覚刺激画像の高認識性を実現するため,視覚刺激画像データセットを構築した。
主エンコーダと従属デコーダからなる深部視覚表現モデル(DVRM)を提案し,視覚刺激を再構成する。
論文 参考訳（メタデータ） (2024-03-11T09:19:09Z) - A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳（メタデータ） (2023-09-21T08:53:51Z) - Decoding visual brain representations from electroencephalography
through Knowledge Distillation and latent diffusion models [0.12289361708127873]
本稿では,脳波(EEG)データを用いて,ImageNetデータセットから画像の分類と再構成を行う革新的な手法を提案する。
我々は6人の被験者の脳波記録を分析し、それぞれ40のユニークな意味カテゴリーにまたがる50の画像に暴露した。
我々は,事前学習した潜伏拡散モデルに基づく画像再構成機構を導入し,脳波を誘発した画像の推定を可能とした。
論文 参考訳（メタデータ） (2023-09-08T09:13:50Z) - Decoding Natural Images from EEG for Object Recognition [8.411976038504589]
本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。
我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。
これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
論文 参考訳（メタデータ） (2023-08-25T08:05:37Z) - Seeing through the Brain: Image Reconstruction of Visual Perception from
Human Brain Signals [27.92796103924193]
脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。
我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
論文 参考訳（メタデータ） (2023-07-27T12:54:16Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳（メタデータ） (2020-03-31T11:50:43Z) - Joint Deep Learning of Facial Expression Synthesis and Recognition [97.19528464266824]
顔表情の合成と認識を効果的に行うための新しい統合深層学習法を提案する。
提案手法は, 2段階の学習手順を伴い, まず, 表情の異なる顔画像を生成するために, 表情合成生成対向ネットワーク (FESGAN) を事前訓練する。
実画像と合成画像間のデータバイアスの問題を軽減するために,新しい実データ誘導バックプロパゲーション(RDBP)アルゴリズムを用いたクラス内損失を提案する。
論文 参考訳（メタデータ） (2020-02-06T10:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。