論文の概要: Category-aware EEG image generation based on wavelet transform and contrast semantic loss

• arxiv url: http://arxiv.org/abs/2505.24301v1
• Date: Fri, 30 May 2025 07:24:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.830346
• Title: Category-aware EEG image generation based on wavelet transform and contrast semantic loss
• Title（参考訳）: ウェーブレット変換とコントラスト意味損失に基づくカテゴリー対応脳波画像生成
• Authors: Enshang Zhang, Zhicheng Zhang, Takashi Hanakawa,
• Abstract要約: 本稿では、離散ウェーブレット変換(DWT)とゲーティング機構を統合したトランスフォーマーベースのEEG信号エンコーダを提案する。 このエンコーダは,脳波信号から視覚刺激に関連する特徴を抽出するために用いられる。 事前学習した拡散モデルにより、これらの特徴は視覚刺激に再構成される。
• 参考スコア（独自算出の注目度）: 4.165508411354963
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reconstructing visual stimuli from EEG signals is a crucial step in realizing brain-computer interfaces. In this paper, we propose a transformer-based EEG signal encoder integrating the Discrete Wavelet Transform (DWT) and the gating mechanism. Guided by the feature alignment and category-aware fusion losses, this encoder is used to extract features related to visual stimuli from EEG signals. Subsequently, with the aid of a pre-trained diffusion model, these features are reconstructed into visual stimuli. To verify the effectiveness of the model, we conducted EEG-to-image generation and classification tasks using the THINGS-EEG dataset. To address the limitations of quantitative analysis at the semantic level, we combined WordNet-based classification and semantic similarity metrics to propose a novel semantic-based score, emphasizing the ability of our model to transfer neural activities into visual representations. Experimental results show that our model significantly improves semantic alignment and classification accuracy, which achieves a maximum single-subject accuracy of 43\%, outperforming other state-of-the-art methods. The source code and supplementary material is available at https://github.com/zes0v0inn/DWT_EEG_Reconstruction/tree/main.
• Abstract（参考訳）: 脳波信号から視覚刺激を再構成することは、脳とコンピュータのインターフェイスを実現するための重要なステップである。 本稿では、離散ウェーブレット変換(DWT)とゲーティング機構を統合したトランスフォーマーベースのEEG信号エンコーダを提案する。 このエンコーダは,脳波信号から視覚刺激に関連する特徴を抽出するために用いられる。 その後、事前訓練した拡散モデルを用いて、これらの特徴を視覚刺激に再構成する。 モデルの有効性を検証するため,THINGS-EEGデータセットを用いて脳画像生成と分類タスクを行った。 意味レベルでの定量的分析の限界に対処するために、我々はWordNetベースの分類と意味的類似度メトリクスを組み合わせて、新しい意味に基づくスコアを提案し、我々のモデルが視覚的表現に神経活動を伝達する能力を強調した。 実験結果から,本モデルは意味的アライメントと分類精度を大幅に向上し,最大単目的精度が43 %に達し,他の最先端手法よりも優れることがわかった。 ソースコードと補足資料はhttps://github.com/zes0v0inn/DWT_EEG_Reconstruction/tree/mainで公開されている。

関連論文リスト

• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• NECOMIMI: Neural-Cognitive Multimodal EEG-informed Image Generation with Diffusion Models [0.0]
  NECOMIMIは、高度な拡散モデルを用いて、脳波信号から直接画像を生成する新しいフレームワークを導入した。 提案したNERV EEGエンコーダは、複数のゼロショット分類タスクにまたがる最先端(SoTA)性能を示す。 我々は、脳波画像評価に適した新しい指標としてCATスコアを導入し、 ThingsEEGデータセット上でベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-10-01T14:05:30Z)
• CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
  脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。 近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-13T22:46:43Z)
• DGSD: Dynamical Graph Self-Distillation for EEG-Based Auditory Spatial Attention Detection [49.196182908826565]
  AAD(Auditory Attention Detection)は、マルチスピーカー環境で脳信号からターゲット話者を検出することを目的としている。 現在のアプローチは主に、画像のようなユークリッドデータを処理するために設計された従来の畳み込みニューラルネットワークに依存している。 本稿では、入力として音声刺激を必要としないAADのための動的グラフ自己蒸留(DGSD)手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T13:43:46Z)
• A Hybrid End-to-End Spatio-Temporal Attention Neural Network with Graph-Smooth Signals for EEG Emotion Recognition [1.6328866317851187]
  本稿では,ネットワーク・テンポラルエンコーディングと繰り返しアテンションブロックのハイブリッド構造を用いて,解釈可能な表現を取得するディープニューラルネットワークを提案する。 提案したアーキテクチャは、公開されているDEAPデータセット上での感情分類の最先端結果を上回ることを実証する。
  論文  参考訳（メタデータ） (2023-07-06T15:35:14Z)
• Semantic Image Synthesis via Diffusion Models [174.24523061460704]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に事実上のGANベースのアプローチに従っている。 意味画像合成のためのDDPMに基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Hybrid Routing Transformer for Zero-Shot Learning [83.64532548391]
  本稿ではハイブリッド・ルーティング・トランス (HRT) と呼ばれる新しいトランス・デコーダモデルを提案する。 ボトムアップとトップダウンの動的ルーティング経路の両方で構築されたアクティブアテンションを組み込んで,属性に整合した視覚的特徴を生成する。 HRTデコーダでは,属性対応の視覚特徴,対応する属性セマンティクス,およびクラス属性ベクトル間の相関関係を静的なルーティングで計算し,最終クラスラベルの予測を生成する。
  論文  参考訳（メタデータ） (2022-03-29T07:55:08Z)
• EEG-ConvTransformer for Single-Trial EEG based Visual Stimuli Classification [5.076419064097734]
  本研究は,マルチヘッド自己注意に基づくEEG-ConvTranformerネットワークを導入する。 5種類の視覚刺激分類タスクにまたがる最先端技術による分類精度の向上を実現している。
  論文  参考訳（メタデータ） (2021-07-08T17:22:04Z)
• ScalingNet: extracting features from raw EEG data for emotion recognition [4.047737925426405]
  生の脳波信号から効果的なデータ駆動スペクトログラムのような特徴を適応的に抽出できる新しい畳み込み層を提案する。 スケーリング層に基づくニューラルネットワークアーキテクチャであるScalingNetは、確立されたDEAPベンチマークデータセット全体で最先端の結果を達成した。
  論文  参考訳（メタデータ） (2021-02-07T08:54:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。