論文の概要: Multi-Level Bidirectional Biomimetic Learning for EEG-Based Visual Decoding
- arxiv url: http://arxiv.org/abs/2605.04680v1
- Date: Wed, 06 May 2026 09:31:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.749411
- Title: Multi-Level Bidirectional Biomimetic Learning for EEG-Based Visual Decoding
- Title(参考訳): 脳波に基づく視覚復号のための多レベル双方向バイオミメティック学習
- Authors: Jingtao Liu, Peiliang Gong, Chuhang Zheng, Yiheng Liu, Qi Zhu,
- Abstract要約: EEGベースの視覚神経復号は、画像検索などのタスクに対して、神経応答と視覚刺激を合わせることを目的としている。
構造化された生理的バイアスを表現学習に組み込んだ多レベル双方向バイオミメティック学習フレームワークMB2Lを提案する。
実験では、MB2Lは80.5%のTop-1と97.6%のTop-5をゼロショット脳波画像検索で達成している。
- 参考スコア(独自算出の注目度): 10.0396148246889
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: EEG-based visual neural decoding aims to align neural responses with visual stimuli for tasks such as image retrieval. However, limited paired data and a fundamental mismatch between high-fidelity digital images and biological visual perception - distorted by retinotopic mapping and subject-specific neuroanatomy - severely impede cross-modal alignment. To address this, we propose MB2L, a Multi-Level Bidirectional Biomimetic Learning framework that incorporates structured physiological inductive biases into representation learning. Specifically, we propose Adaptive Blur with Visual Priors to mitigate perceptual-structural mismatch by reweighting visual inputs according to retinotopic priors. We further propose Biomimetic Visual Feature Extraction to learn multi-level visual representations consistent with hierarchical cortical processing, enhancing subject-invariant encoding. These modules are jointly optimized via Multi-level Bidirectional Contrastive Learning, which aligns EEG and visual features in a shared semantic space through bidirectional contrastive objectives. Experiments show MB2L achieves 80.5% Top-1 and 97.6% Top-5 accuracy on zero-shot EEG-to-image retrieval, significantly outperforming prior methods and demonstrating strong generalization across subjects and experimental settings.
- Abstract(参考訳): EEGベースの視覚神経復号は、画像検索などのタスクに対して、神経応答と視覚刺激を合わせることを目的としている。
しかし、限られたペアデータと、高忠実度デジタル画像と生物学的視覚知覚の基本的なミスマッチは、網膜マッピングと被写体特異的神経解剖学によって歪められ、クロスモーダルアライメントを著しく阻害する。
そこで本研究では,構造的生理的帰納バイアスを表現学習に組み込んだ多層双方向バイオミメティック学習フレームワークMB2Lを提案する。
具体的には,視覚的前兆に応じて視覚入力を再重み付けすることで,視覚的・構造的ミスマッチを緩和する適応的ブラジャーを提案する。
さらに,階層的皮質処理と整合した多段階の視覚表現を学習し,主観的不変エンコーディングを向上させるバイオミメティック視覚特徴抽出法を提案する。
これらのモジュールは、双方向のコントラスト的目的を通じて、共有意味空間における脳波と視覚的特徴を整列する多段階双方向コントラスト的学習によって、共同で最適化される。
実験の結果、MB2Lは、ゼロショット脳波画像検索において80.5%のTop-1と97.6%のTop-5の精度を達成し、先行手法を著しく上回り、被験者や実験環境における強力な一般化を示している。
関連論文リスト
- ViBE: Visual-to-M/EEG Brain Encoding via Spatio-Temporal VAE and Distribution-Aligned Projection [36.96202443284929]
ViBEは脳磁図(MEG)と脳波(EEG)を視覚刺激から生成するための新しい符号化フレームワークである。
本稿では,M/EEG信号の時間的特性を捉える畳み込み変分オートエンコーダ(TS-CVAE)を提案する。
論文 参考訳(メタデータ) (2026-04-29T01:53:46Z) - Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。
MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。
さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。
MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
論文 参考訳(メタデータ) (2026-04-27T02:41:27Z) - Bridging Cognitive Gap: Hierarchical Description Learning for Artistic Image Aesthetics Assessment [51.40989269202702]
審美的品質評価タスクは,AIGCの定量的評価システムの開発に不可欠である。
本研究では,記述生成による美的次元の分離を図った芸術的画像の美的評価フレームワークであるArtQuantを提案する。
提案手法は,従来のトレーニングの33%しか必要とせず,いくつかのデータセット上での最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2025-12-29T12:18:26Z) - NeuroCLIP: Brain-Inspired Prompt Tuning for EEG-to-Image Multimodal Contrastive Learning [13.254096454986318]
脳波から画像へのコントラスト学習に適したプロンプトチューニングフレームワークであるNeuroCLIPを提案する。
我々は初めて視覚的プロンプトトークンを脳波画像アライメントに導入し、グローバルなモダリティレベルのプロンプトとして機能する。
THINGS-EEG2データセットでは、NeuroCLIPはゼロショット画像検索において63.2%のTop-1精度を達成した。
論文 参考訳(メタデータ) (2025-11-12T12:13:24Z) - Image-to-Brain Signal Generation for Visual Prosthesis with CLIP Guided Multimodal Diffusion Models [6.761875482596085]
画像からM/EEGを生成する最初の画像-脳信号フレームワークを提案する。
提案フレームワークは,事前学習したCLIPビジュアルエンコーダと,有意な拡張U-Net拡散モデルからなる。
コンディショニングのための単純な結合に依存する従来の生成モデルとは異なり、我々のクロスアテンションモジュールは視覚的特徴と脳信号表現の間の複雑な相互作用を捉えている。
論文 参考訳(メタデータ) (2025-08-31T10:29:58Z) - Visual Neural Decoding via Improved Visual-EEG Semantic Consistency [3.4061238650474657]
EEG機能をCLIP埋め込みスペースに直接マッピングするメソッドは、マッピングバイアスを導入し、セマンティックな矛盾を引き起こす可能性がある。
最適アライメントを容易にするために,これらの2つのモードのセマンティックな特徴を明示的に抽出する Visual-EEG Semantic Decouple Framework を提案する。
提案手法は,ゼロショットニューラルデコードタスクの最先端化を実現する。
論文 参考訳(メタデータ) (2024-08-13T10:16:10Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - Unsupervised Bidirectional Cross-Modality Adaptation via Deeply
Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。
提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。
2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
論文 参考訳(メタデータ) (2020-02-06T13:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。