論文の概要: NeuroBridge: Bio-Inspired Self-Supervised EEG-to-Image Decoding via Cognitive Priors and Bidirectional Semantic Alignment
- arxiv url: http://arxiv.org/abs/2511.06836v1
- Date: Mon, 10 Nov 2025 08:29:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-11 21:18:45.159013
- Title: NeuroBridge: Bio-Inspired Self-Supervised EEG-to-Image Decoding via Cognitive Priors and Bidirectional Semantic Alignment
- Title(参考訳): NeuroBridge:認知的優先順位と双方向のセマンティックアライメントによる、バイオインスパイアされた自己スーパービジョンの脳波から画像へのデコーディング
- Authors: Wenjiang Zhang, Sifeng Wang, Yuwei Su, Xinyu Li, Chen Zhang, Suyu Zhong,
- Abstract要約: 視覚神経復号は、脳の活動パターンから知覚される視覚刺激を再構成または推論しようとする。
現在のアプローチは、高品質な刺激脳応答対の不足によって制約されている。
本稿では,NuroBridgeという自己教師型アーキテクチャを提案する。
- 参考スコア(独自算出の注目度): 7.860082818617649
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Visual neural decoding seeks to reconstruct or infer perceived visual stimuli from brain activity patterns, providing critical insights into human cognition and enabling transformative applications in brain-computer interfaces and artificial intelligence. Current approaches, however, remain constrained by the scarcity of high-quality stimulus-brain response pairs and the inherent semantic mismatch between neural representations and visual content. Inspired by perceptual variability and co-adaptive strategy of the biological systems, we propose a novel self-supervised architecture, named NeuroBridge, which integrates Cognitive Prior Augmentation (CPA) with Shared Semantic Projector (SSP) to promote effective cross-modality alignment. Specifically, CPA simulates perceptual variability by applying asymmetric, modality-specific transformations to both EEG signals and images, enhancing semantic diversity. Unlike previous approaches, SSP establishes a bidirectional alignment process through a co-adaptive strategy, which mutually aligns features from two modalities into a shared semantic space for effective cross-modal learning. NeuroBridge surpasses previous state-of-the-art methods under both intra-subject and inter-subject settings. In the intra-subject scenario, it achieves the improvements of 12.3% in top-1 accuracy and 10.2% in top-5 accuracy, reaching 63.2% and 89.9% respectively on a 200-way zero-shot retrieval task. Extensive experiments demonstrate the effectiveness, robustness, and scalability of the proposed framework for neural visual decoding.
- Abstract(参考訳): 視覚神経デコーディングは、脳の活動パターンから知覚される視覚刺激を再構築または推論し、人間の認知に対する重要な洞察を与え、脳とコンピュータのインターフェイスと人工知能における変革的応用を可能にする。
しかし、現在のアプローチは、高品質な刺激脳応答ペアの不足と、神経表現と視覚内容の固有の意味的ミスマッチに制約されている。
本研究では,認知的事前拡張(CPA)と共有セマンティックプロジェクタ(SSP)を統合し,効果的な相互モダリティアライメントを促進する,新しい自己教師型アーキテクチャであるNeuroBridgeを提案する。
具体的には、CPAは脳波信号と画像の両方に非対称なモダリティ特異的な変換を適用し、意味的多様性を増強することで知覚変数をシミュレートする。
従来のアプローチとは異なり、SSPは双方向のアライメントプロセスを確立するために、協調適応戦略(co-adaptive strategy)によって、2つのモーダルからの特徴を効果的なクロスモーダル学習のための共有セマンティック空間に相互にアライメントする。
NeuroBridgeは、オブジェクト内設定とオブジェクト間設定の両方で、従来の最先端メソッドを上回っている。
オブジェクト内シナリオでは、トップ1の精度が12.3%、トップ5の精度が10.2%向上し、200ウェイゼロショット検索タスクでそれぞれ63.2%と89.9%に達した。
広範にわたる実験は、ニューラルビジュアルデコーディングのための提案されたフレームワークの有効性、堅牢性、拡張性を示している。
関連論文リスト
- Image-to-Brain Signal Generation for Visual Prosthesis with CLIP Guided Multimodal Diffusion Models [6.761875482596085]
画像からM/EEGを生成する最初の画像-脳信号フレームワークを提案する。
提案フレームワークは,事前学習したCLIPビジュアルエンコーダと,有意な拡張U-Net拡散モデルからなる。
コンディショニングのための単純な結合に依存する従来の生成モデルとは異なり、我々のクロスアテンションモジュールは視覚的特徴と脳信号表現の間の複雑な相互作用を捉えている。
論文 参考訳(メタデータ) (2025-08-31T10:29:58Z) - SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning [54.390403684665834]
視覚刺激が皮質反応にどのように変換されるかを理解することは、計算神経科学の基本的な課題である。
視覚的意味論から神経反応への変換を確率的かつ生物学的に解釈可能な方法でシミュレートする生成フレームワークであるSynBrainを提案する。
実験結果から,SynBrainは被写体特異的視覚-fMRI符号化性能において最先端の手法を超越していることが示された。
論文 参考訳(メタデータ) (2025-08-14T03:01:05Z) - From Flat to Round: Redefining Brain Decoding with Surface-Based fMRI and Cortex Structure [11.760848227175591]
人間の脳活動(例えばfMRI)から視覚刺激を再構築することは神経科学とコンピュータビジョンを橋渡しする。
球面上の空間的コヒーレントな2次元球面データとしてfMRI信号を明示的にモデル化する新しいスフィア・トークンーザを提案する。
また、構造MRIデータの統合も提案し、個々の解剖学的変動をパーソナライズした符号化を可能にする。
論文 参考訳(メタデータ) (2025-07-22T09:34:39Z) - Feature Integration Spaces: Joint Training Reveals Dual Encoding in Neural Network Representations [0.0]
ニューラルネットワークの解釈可能性に対する現在のオートエンコーダ(SAE)アプローチは、線形重ね合わせによって活性化がスパースで解釈可能な特徴に分解可能であることを前提としている。
ニューラルネットワークは2つの相補的な空間に情報をエンコードし,その情報を同じ基板に圧縮する。
共同トレーニングは41.3%の再建改善と51.6%のKL分岐誤差の低減を実現している。
論文 参考訳(メタデータ) (2025-06-30T21:26:58Z) - Optimized two-stage AI-based Neural Decoding for Enhanced Visual Stimulus Reconstruction from fMRI Data [2.0851013563386247]
本研究は、fMRI遅延空間表現を改善するための非線形ディープネットワークを提案し、次元性も同様に最適化する。
Natural Scenesデータセットの実験により、提案されたアーキテクチャは、最先端のモデルに関して、再構成された画像の構造的類似性を約2%改善した。
LDMのノイズ感度解析により,第1ステージの役割は,高い構造的類似性を有する刺激を予測するのに基本的であることが示された。
論文 参考訳(メタデータ) (2024-12-17T16:42:55Z) - Visual Neural Decoding via Improved Visual-EEG Semantic Consistency [3.4061238650474657]
EEG機能をCLIP埋め込みスペースに直接マッピングするメソッドは、マッピングバイアスを導入し、セマンティックな矛盾を引き起こす可能性がある。
最適アライメントを容易にするために,これらの2つのモードのセマンティックな特徴を明示的に抽出する Visual-EEG Semantic Decouple Framework を提案する。
提案手法は,ゼロショットニューラルデコードタスクの最先端化を実現する。
論文 参考訳(メタデータ) (2024-08-13T10:16:10Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Unsupervised Bidirectional Cross-Modality Adaptation via Deeply
Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。
提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。
2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
論文 参考訳(メタデータ) (2020-02-06T13:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。