Fugu-MT 論文翻訳(概要): What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment

論文の概要: What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment

arxiv url: http://arxiv.org/abs/2606.25718v1
Date: Wed, 24 Jun 2026 11:33:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-25 17:05:30.317439
Title: What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment
Title（参考訳）: 脳は何を見えるか?脳と視覚のアライメントを決定づけるマルチビューニューラル表現
Abstract要約: 脳の反応を視覚的セマンティックな埋め込みと整合させるための統合型多視点脳波表現学習フレームワークを提案する。提案手法は,物体内部設定において54.8%のTop-1,85.6%のTop-5,クロスオブジェクト設定では15.3%のTop-1,45.4%のTop-5の精度を有する。
参考スコア（独自算出の注目度）: 16.54359569394021
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Zero-shot visual decoding from electroencephalography (EEG) aims to infer visual semantics from non-invasive neural recordings, but remains challenging due to the low signal-to-noise ratio, non-stationarity, and limited spatial resolution of EEG. Existing EEG-vision alignment methods often rely on holistic EEG embeddings, which can obscure the complementary temporal, spectral, and spatial structure underlying visual perception. We introduce a unified multiview EEG representation learning framework for aligning brain responses with visual semantic embeddings. Our method builds an EEG encoder that jointly models three complementary views: input-conditioned state-space temporal dynamics, learnable wavelet-based spectral decomposition for sample-adaptive frequency modeling, and attention-modulated graph learning for structured electrode interactions. The resulting multiview EEG embeddings are fused and aligned with pretrained visual representations in a shared semantic space using contrastive learning with EEG-specific regularization, enabling 200-way zero-shot visual classification. Experiments on THINGS-EEG benchmark show that our method achieves state-of-the-art performance, with 54.8% Top-1 and 85.6% Top-5 accuracy in the within-subject setting and 15.3% Top-1 and 45.4% Top-5 accuracy in the cross-subject setting. We further present the first systematic cross-session EEG-image decoding evaluation, achieving 40.8% Top-1 and 78.0% Top-5 accuracy. These results suggest that explicitly modeling multiview neural structure improves both semantic alignment and generalization in EEG-based visual decoding.
Abstract（参考訳）: 脳波(EEG)からのゼロショット視覚復号は、非侵襲的な神経記録から視覚的意味を推測することを目的としているが、低信号対雑音比、非定常性、脳波の空間分解能の制限により依然として困難である。既存の脳波視線アライメント法は、視覚知覚の根底にある相補的時間的、スペクトル的、空間的構造を曖昧にする、総体的な脳波埋め込みに依存していることが多い。脳の反応を視覚的セマンティックな埋め込みと整合させるための統合型多視点脳波表現学習フレームワークを提案する。提案手法は,入力条件付き状態空間時間ダイナミクス,サンプル適応周波数モデリングのための学習可能なウェーブレットベースのスペクトル分解,構造化電極相互作用のための注意変調グラフ学習の3つの相補的なビューを共同でモデル化するEEGエンコーダを構築する。得られたマルチビューEEG埋め込みは、EEG固有の正規化と対比学習を用いて、共有意味空間における事前訓練された視覚表現と融合し、200方向ゼロショットの視覚分類を可能にする。 THINGS-EEGベンチマーク実験により, 提案手法は, 54.8%のTop-1, 85.6%のTop-5の精度, 15.3%のTop-1, 45.4%のTop-5の精度を達成できた。さらに、最初の系統横断脳波画像デコード評価を行い、40.8%のTop-1と78.0%のTop-5を達成した。これらの結果は、多視点神経構造を明示的にモデル化することで、脳波に基づく視覚的デコーディングにおける意味的アライメントと一般化の両方を改善することを示唆している。

関連論文リスト

MindAlign: Bridging EEG, Vision, and Language for Zero-Shot Visual Decoding [36.958608375007124]
脳信号からの視覚的復号化は、コンピュータビジョンと神経科学の交差において重要な課題である。本稿では,脳波,視覚,テキスト表現の整合性を考慮した,脳波に基づく視覚的デコーディングのための3モーダルコントラストフレームワークを提案する。
論文参考訳（メタデータ） (2026-05-23T11:23:21Z)
Subject-Aware Multi-Granularity Alignment for Zero-Shot EEG-to-Image Retrieval [6.9700202682590024]
ゼロショット脳波画像検索のための主観的マルチグラニュラリティアライメント(SAMGA)フレームワークを提案する。 SAMGAは、まず、事前学習された視覚エンコーダから複数の中間表現を適応的に集約することにより、対象を意識した視覚監視ターゲットを構築する。 THINGS-EEGベンチマークの実験では、提案手法はオブジェクト内設定で91.3%のTop-1と98.8%のTop-5の精度、オブジェクト間設定で34.4%のTop-1と64.8%のTop-5の精度を達成した。
論文参考訳（メタデータ） (2026-04-20T04:10:30Z)
Aligning What EEG Can See: Structural Representations for Brain-Vision Matching [26.36030588128271]
脳波(EEG)からの視覚的デコーディングは、非侵襲的な脳-コンピュータインターフェースのための、非常に有望な道として現れてきた。既存の脳波に基づく復号法は、主に脳信号を深部視覚モデルの最終層セマンティック埋め込みと整合させる。ニューラルビザビリティの概念を導入し,脳波可視層選択戦略を提案する。
論文参考訳（メタデータ） (2026-03-07T07:12:08Z)
WaveMind: Towards a Conversational EEG Foundation Model Aligned to Textual and Visual Modalities [55.00677513249723]
脳波信号は認知過程と固有の神経状態の両方を同時に符号化する。我々は、EEG信号とその対応するモダリティを統一意味空間にマッピングし、一般化された解釈を実現する。結果として得られたモデルは、柔軟でオープンな会話をサポートしながら、堅牢な分類精度を示す。
論文参考訳（メタデータ） (2025-09-26T06:21:51Z)
CRIA: A Cross-View Interaction and Instance-Adapted Pre-training Framework for Generalizable EEG Representations [52.251569042852815]
CRIAは、可変長および可変チャネルコーディングを使用して、異なるデータセット間でEEGデータの統一表現を実現する適応フレームワークである。このモデルでは、時間的、スペクトル的、空間的特徴を効果的に融合させるクロスアテンション機構を採用している。テンプル大学脳波コーパスとCHB-MITデータセットによる実験結果から、CRIAは既存の方法よりも、同じ事前学習条件で優れていることが示された。
論文参考訳（メタデータ） (2025-06-19T06:31:08Z)
CodeBrain: Towards Decoupled Interpretability and Multi-Scale Architecture for EEG Foundation Model [52.466542039411515]
EEGファウンデーションモデル(EFM)は、タスク固有のモデルのスケーラビリティ問題に対処するために登場した。このギャップを埋めるために設計された2段階のEMFであるCodeBrainを紹介します。第1段階では、異種時間・周波数の脳波信号を離散トークンに分解するTFDual-Tokenizerを導入する。第2段階では、構造化されたグローバル畳み込みとスライディングウインドウの注意を結合したマルチスケールEEGSSMアーキテクチャを提案する。
論文参考訳（メタデータ） (2025-06-10T17:20:39Z)
BrainOmni: A Brain Foundation Model for Unified EEG and MEG Signals [46.121056431476156]
異種脳波とMEG記録を対象とする脳基礎モデルBrain Omniを提案する。既存のアプローチは一般的に、パフォーマンスとクロスドメインのスケーラビリティを制限する、分離、モダリティ、データセット固有のモデルに依存します。 EEGの合計1,997時間、MEGデータの656時間は、事前トレーニングのために公開されているソースからキュレーションされ、標準化されている。
論文参考訳（メタデータ） (2025-05-18T14:07:14Z)
ViEEG: Hierarchical Visual Neural Representation for EEG Brain Decoding [18.51835182602402]
ViEEGは神経系であり、我々はさらに、EEG-CLIPのアライメントアライメントに階層的コントラスト学習を採用し、ゼロショットオブジェクト認識を可能にする。われわれのフレームワークは脳波脳波復号のための新しいパラダイムを定めている。 ViEEGは、視覚刺激を3つの生物学的に整列した構成要素、前景のオブジェクト、三次元脳波エンコーダのための文脈的なシーン保存アンカーに分解する。
論文参考訳（メタデータ） (2025-05-18T13:19:08Z)
CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
論文参考訳（メタデータ） (2024-12-13T16:27:54Z)
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning [2.087148326341881]
本稿では,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE学習フレームワークを提案する。我々は、脳波信号に適した多変量時系列エンコーダを開発し、正規化コントラスト脳波画像事前学習の有効性を評価する。本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。
論文参考訳（メタデータ） (2024-06-05T16:42:23Z)
CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
論文参考訳（メタデータ） (2023-11-13T22:46:43Z)
Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文参考訳（メタデータ） (2023-10-25T10:26:07Z)
A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文参考訳（メタデータ） (2023-09-21T08:53:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。