論文の概要: EEG-ImageNet: An Electroencephalogram Dataset and Benchmarks with Image Visual Stimuli of Multi-Granularity Labels
- arxiv url: http://arxiv.org/abs/2406.07151v1
- Date: Tue, 11 Jun 2024 10:52:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 16:25:09.112614
- Title: EEG-ImageNet: An Electroencephalogram Dataset and Benchmarks with Image Visual Stimuli of Multi-Granularity Labels
- Title（参考訳）: EEG-ImageNet:脳波データセットと多粒性ラベルの視覚刺激によるベンチマーク
- Authors: Shuqi Zhu, Ziyi Ye, Qingyao Ai, Yiqun Liu,
- Abstract要約: 我々は、画像Netデータセットから選択された4000の画像に露出した16人の被験者からの録音を含む新しいEEGデータセットであるEEG-ImageNetを紹介する。
EEG-ImageNetは、既存の類似のEEGベンチマークの5倍のEEGイメージペアで構成されている。
そこで本研究では,対象分類と画像再構成のベンチマークを構築し,対象分類の精度を60%,画像再構成の精度を64%程度で達成できることを示す。
- 参考スコア（独自算出の注目度）: 12.783945503890962
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Identifying and reconstructing what we see from brain activity gives us a special insight into investigating how the biological visual system represents the world. While recent efforts have achieved high-performance image classification and high-quality image reconstruction from brain signals collected by Functional Magnetic Resonance Imaging (fMRI) or magnetoencephalogram (MEG), the expensiveness and bulkiness of these devices make relevant applications difficult to generalize to practical applications. On the other hand, Electroencephalography (EEG), despite its advantages of ease of use, cost-efficiency, high temporal resolution, and non-invasive nature, has not been fully explored in relevant studies due to the lack of comprehensive datasets. To address this gap, we introduce EEG-ImageNet, a novel EEG dataset comprising recordings from 16 subjects exposed to 4000 images selected from the ImageNet dataset. EEG-ImageNet consists of 5 times EEG-image pairs larger than existing similar EEG benchmarks. EEG-ImageNet is collected with image stimuli of multi-granularity labels, i.e., 40 images with coarse-grained labels and 40 with fine-grained labels. Based on it, we establish benchmarks for object classification and image reconstruction. Experiments with several commonly used models show that the best models can achieve object classification with accuracy around 60% and image reconstruction with two-way identification around 64%. These results demonstrate the dataset's potential to advance EEG-based visual brain-computer interfaces, understand the visual perception of biological systems, and provide potential applications in improving machine visual models.
- Abstract（参考訳）: 脳の活動から見えるものを同定し、再構築することで、生物の視覚システムが世界をどのように表現しているかを調査する特別な洞察を得ることができます。
近年,fMRI (Function Magnetic Resonance Imaging) やMEG (Magneticencephalogram) によって収集された脳信号から高画質な画像分類と高画質な画像再構成が達成されているが,これらの装置の高価さとバルク性は,応用の一般化を困難にしている。
一方、脳波検査(EEG)は、使いやすさ、コスト効率、高時間分解能、非侵襲性といった利点があるにもかかわらず、包括的なデータセットが欠如しているため、関連する研究では十分に研究されていない。
このギャップに対処するために、画像Netデータセットから選択した4000枚の画像に露出した16人の被験者からの録音を含む新しいEEGデータセットであるEEG-ImageNetを紹介した。
EEG-ImageNetは、既存の類似のEEGベンチマークの5倍のEEGイメージペアで構成されている。
EEG-ImageNetは、多粒度ラベルのイメージ刺激、すなわち、粗粒度ラベルの40画像、細粒度ラベルの40画像で収集される。
そこで我々は,オブジェクト分類と画像再構成のためのベンチマークを構築した。
いくつかの一般的なモデルを用いた実験では、最良のモデルは60%の精度でオブジェクト分類を達成でき、画像再構成は64%程度である。
これらの結果は、データセットが脳波ベースの視覚脳-コンピュータインターフェースを進化させ、生物学的システムの視覚的知覚を理解し、マシン視覚モデルを改善する潜在的応用を提供する可能性を実証している。
関連論文リスト
- NECOMIMI: Neural-Cognitive Multimodal EEG-informed Image Generation with Diffusion Models [0.0]
NECOMIMIは、高度な拡散モデルを用いて、脳波信号から直接画像を生成する新しいフレームワークを導入した。
提案したNERV EEGエンコーダは、複数のゼロショット分類タスクにまたがる最先端(SoTA)性能を示す。
我々は、脳波画像評価に適した新しい指標としてCATスコアを導入し、 ThingsEEGデータセット上でベンチマークを確立する。
論文 参考訳（メタデータ） (2024-10-01T14:05:30Z) - Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning [2.087148326341881]
本稿では,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE学習フレームワークを提案する。
我々は、脳波信号に適した多変量時系列エンコーダを開発し、正規化コントラスト脳波画像事前学習の有効性を評価する。
本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。
論文 参考訳（メタデータ） (2024-06-05T16:42:23Z) - Alleviating Catastrophic Forgetting in Facial Expression Recognition with Emotion-Centered Models [49.3179290313959]
感情中心型生成的リプレイ (ECgr) は, 生成的対向ネットワークから合成画像を統合することで, この課題に対処する。
ECgrは、生成された画像の忠実性を保証するために品質保証アルゴリズムを組み込んでいる。
4つの多様な表情データセットに対する実験結果から,擬似リハーサル法により生成されたイメージを組み込むことで,ターゲットとするデータセットとソースデータセットのトレーニングが促進されることが示された。
論文 参考訳（メタデータ） (2024-04-18T15:28:34Z) - Psychometry: An Omnifit Model for Image Reconstruction from Human Brain Activity [60.983327742457995]
人間の脳活動から見るイメージを再構築することで、人間とコンピュータのビジョンをBrain-Computer Interfaceを通して橋渡しする。
異なる被験者から得られた機能的磁気共鳴イメージング(fMRI)による画像再構成のための全能モデルであるサイコメトリを考案した。
論文 参考訳（メタデータ） (2024-03-29T07:16:34Z) - Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。
ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。
本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-10-25T10:26:07Z) - Decoding visual brain representations from electroencephalography
through Knowledge Distillation and latent diffusion models [0.12289361708127873]
本稿では,脳波(EEG)データを用いて,ImageNetデータセットから画像の分類と再構成を行う革新的な手法を提案する。
我々は6人の被験者の脳波記録を分析し、それぞれ40のユニークな意味カテゴリーにまたがる50の画像に暴露した。
我々は,事前学習した潜伏拡散モデルに基づく画像再構成機構を導入し,脳波を誘発した画像の推定を可能とした。
論文 参考訳（メタデータ） (2023-09-08T09:13:50Z) - Decoding Natural Images from EEG for Object Recognition [8.411976038504589]
本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。
我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。
これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
論文 参考訳（メタデータ） (2023-08-25T08:05:37Z) - A Deep Learning Approach for the Segmentation of Electroencephalography
Data in Eye Tracking Applications [56.458448869572294]
脳波データの時系列セグメンテーションのための新しいフレームワークDETRtimeを紹介する。
エンドツーエンドのディープラーニングベースのフレームワークは、コンピュータビジョンの進歩を前面に立たせています。
我々のモデルは脳波睡眠ステージセグメンテーションのタスクにおいてよく一般化される。
論文 参考訳（メタデータ） (2022-06-17T10:17:24Z) - OADAT: Experimental and Synthetic Clinical Optoacoustic Data for
Standardized Image Processing [62.993663757843464]
オプトアコースティック(OA)イメージングは、ナノ秒レーザーパルスによる生体組織の励起と、光吸収による熱弾性膨張によって発生する超音波の検出に基づいている。
OAイメージングは、深部組織における豊富な光学コントラストと高分解能の強力な組み合わせを特徴としている。
臨床環境でのOAの幅広い応用を促進するために、異なるタイプの実験的なセットアップと関連する処理手法で生成される標準化データセットは存在しない。
論文 参考訳（メタデータ） (2022-06-17T08:11:26Z) - Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition [61.87842307164351]
まず,画像生成ネットワークの監視に新たな知覚損失を適用したIACycleGAN(Identity-Aware CycleGAN)モデルを提案する。
眼や鼻などの重要な顔領域の合成により多くの注意を払うことで、フォトエッチング合成におけるサイクガンを改善する。
IACycleGANによる画像の合成を反復的に行う合成モデルと認識モデルとの相互最適化手法を開発した。
論文 参考訳（メタデータ） (2021-03-30T01:30:08Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳（メタデータ） (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。