論文の概要: Complementarity-Driven Dual-Teacher Hierarchical Alignment for Zero-Shot EEG-to-Image Retrieval
- arxiv url: http://arxiv.org/abs/2611.12798v1
- Date: Mon, 09 Nov 2026 18:05:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.438883
- Title: Complementarity-Driven Dual-Teacher Hierarchical Alignment for Zero-Shot EEG-to-Image Retrieval
- Title(参考訳): ゼロショット脳波画像検索のための相補性駆動型デュアル教師階層アライメント
- Abstract要約: メカニズム・パラダイム対応ビューは、階層的視覚処理と並列VFMの相補的バイアスをリンクする。
共有EEGエンコーダは、凍結したマルチパターンCLIPと浅いDINOv2教師によって管理される。
THINGS-EEGゼロショット検索では、DTHAは92.4%の精度でTop-1を達成し、12.4ポイントの精度で先行技術を上回っている。
- 参考スコア(独自算出の注目度): 45.23760210565886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoding visual information from EEG is central to brain--computer interfaces and brain-inspired intelligence, and contrastive alignment with pretrained vision foundation models (VFMs) has become the dominant paradigm. However, existing methods align EEG solely with CLIP-family VFMs, leaving hierarchical visual information in neural responses under-exploited. To address this gap, we formulate a mechanism-paradigm correspondence view linking hierarchical visual processing (from appearance to semantics) to the complementary biases of cross-paradigm VFMs, with image-only models (e.g., DINO) and image--text models (e.g., CLIP) capturing distinct facets of this hierarchy. Guided by this view, we propose the Dual-Teacher Hierarchical Alignment (DTHA) framework. Concretely, a shared EEG encoder is supervised by frozen multi-blur CLIP and shallow DINOv2 teachers via dual-branch contrastive alignment, so each branch fully supervises the visual cues it emphasizes. A fused-retrieval objective learns adaptive weights to combine their complementary visual representations for zero-shot EEG-to-image retrieval. For the shared EEG encoder, we introduce the Attentive Modulated Scalp-Pattern Bank Encoder (AMSPBE), combining temporo-spatial attention with a learnable scalp-pattern bank for accurate, interpretable visual feature extraction, while modeling regional temporal dynamics and filter-bank topographies. On THINGS-EEG zero-shot retrieval, DTHA achieves 92.4% Top-1 accuracy, exceeding prior state of the art by 12.4 percentage points. Spatial, spectral, and representational-similarity analyses, together with THINGS-MEG evaluation, validate DTHA's effectiveness, biological plausibility, and cross-modality generalization. This complementarity-driven perspective shows that supervision from cross-paradigm VFMs enables more complete extraction of hierarchical visual information from brain activity.
- Abstract(参考訳): 脳波から視覚情報をデコードすることは脳-コンピュータインターフェースと脳にインスパイアされたインテリジェンスの中心であり、事前訓練された視覚基盤モデル(VFM)とのコントラスト的な整合が主流となっている。
しかし、既存の手法は脳波をCLIPファミリーのVFMにのみ対応させ、神経応答の階層的な視覚情報を未公開のまま残している。
このギャップに対処するために、階層的な視覚処理(外観から意味論まで)を、画像のみのモデル(例:DINO、例:CLIP)と画像のみのモデル(例:CLIP)との相補的バイアスにリンクするメカニズム-パラダイム対応ビューを定式化する。
この観点から、我々はDual-Teacher Hierarchical Alignment (DTHA)フレームワークを提案する。
具体的には、共有された脳波エンコーダは、凍結したマルチブルーのCLIPと浅いDINOv2の教師によって二重ブランチのコントラストアライメントによって監督されるため、各ブランチは強調する視覚的手がかりを完全に監督する。
融合検索対象は適応重みを学習し、相補的な視覚表現を組み合わせてゼロショット脳波画像検索を行う。
脳波エンコーダの共有には、時間的時間的ダイナミクスとフィルタバンクのトポグラフィーをモデル化しながら、テンポロ空間的注意を学習可能な頭皮パターンバンクと組み合わせて、正確な視覚的特徴抽出を行うAttentive Modulated Scalp-Pattern Bank Encoder (AMSPBE)を導入する。
THINGS-EEGゼロショット検索では、DTHAは92.4%の精度で、最先端の12.4ポイントを超える。
空間的・スペクトル的・表現的相似性分析は、THINGS-MEGの評価とともにDTHAの有効性、生物学的妥当性、相互モダリティの一般化を検証した。
この相補性駆動の視点は、クロスパラダイムなVFMからの監督が、脳の活動からより完全な階層的な視覚情報の抽出を可能にすることを示している。
関連論文リスト
- MoETok: Sparse Expert Routing for 1D Visual Tokenizers [52.30634907797462]
MoETokは1Dビジュアルトークンライザで、トークンをわずかにアクティベートされた専門家を通してルーティングする。
ImageNetでは、強力な再構成とセマンティック表現と最先端のクラス条件生成を組み合わせる。
論文 参考訳(メタデータ) (2026-10-30T16:37:55Z) - RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG [4.402959686940895]
In the Residual Patch Adapter (RPA) - ViTビジュアルエンコーダの中間層から全てのパッチトークンを利用してアライメントを行う軽量モジュール型アダプタ。
脳波のアライメントにはパッチトークンの完全なセットを保持することが重要ですが、CLSトークンはほとんどユニークな情報を提供していません。
現在のプロトコルでは、トップ1の精度は95.4%、クロスオブジェクトの35.5%であり、それぞれ65.2%と6.7%である。
論文 参考訳(メタデータ) (2026-09-19T01:40:00Z) - RADIO1D: Elastic Representations for Condensed Vision Modeling [69.84453279129937]
本稿では,視覚言語モデル (VLM) が固定パッチベースの2次元視覚機能を必要とするという仮定に挑戦する。
RADIO1Dは,マルチ教師の知識蒸留とオートエンコーダ設計を用いて,画像をコンパクトで可変長の1Dトークンシーケンスに圧縮する。
結果として得られた表現は、強い階層的な要約を示し、1つのトークンでも正確なシーン理解を可能にし、合成認識画像検索の改善をサポートする。
論文 参考訳(メタデータ) (2026-07-03T22:58:54Z) - What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment [16.54359569394021]
脳の反応を視覚的セマンティックな埋め込みと整合させるための統合型多視点脳波表現学習フレームワークを提案する。
提案手法は,物体内部設定において54.8%のTop-1,85.6%のTop-5,クロスオブジェクト設定では15.3%のTop-1,45.4%のTop-5の精度を有する。
論文 参考訳(メタデータ) (2026-06-24T11:33:21Z) - Multi-Level Bidirectional Biomimetic Learning for EEG-Based Visual Decoding [10.0396148246889]
EEGベースの視覚神経復号は、画像検索などのタスクに対して、神経応答と視覚刺激を合わせることを目的としている。
構造化された生理的バイアスを表現学習に組み込んだ多レベル双方向バイオミメティック学習フレームワークMB2Lを提案する。
実験では、MB2Lは80.5%のTop-1と97.6%のTop-5をゼロショット脳波画像検索で達成している。
論文 参考訳(メタデータ) (2026-05-06T09:31:35Z) - Subject-Aware Multi-Granularity Alignment for Zero-Shot EEG-to-Image Retrieval [6.9700202682590024]
ゼロショット脳波画像検索のための主観的マルチグラニュラリティアライメント(SAMGA)フレームワークを提案する。
SAMGAは、まず、事前学習された視覚エンコーダから複数の中間表現を適応的に集約することにより、対象を意識した視覚監視ターゲットを構築する。
THINGS-EEGベンチマークの実験では、提案手法はオブジェクト内設定で91.3%のTop-1と98.8%のTop-5の精度、オブジェクト間設定で34.4%のTop-1と64.8%のTop-5の精度を達成した。
論文 参考訳(メタデータ) (2026-04-20T04:10:30Z) - Aligning What EEG Can See: Structural Representations for Brain-Vision Matching [26.36030588128271]
脳波(EEG)からの視覚的デコーディングは、非侵襲的な脳-コンピュータインターフェースのための、非常に有望な道として現れてきた。
既存の脳波に基づく復号法は、主に脳信号を深部視覚モデルの最終層セマンティック埋め込みと整合させる。
ニューラルビザビリティの概念を導入し,脳波可視層選択戦略を提案する。
論文 参考訳(メタデータ) (2026-03-07T07:12:08Z) - CRIA: A Cross-View Interaction and Instance-Adapted Pre-training Framework for Generalizable EEG Representations [52.251569042852815]
CRIAは、可変長および可変チャネルコーディングを使用して、異なるデータセット間でEEGデータの統一表現を実現する適応フレームワークである。
このモデルでは、時間的、スペクトル的、空間的特徴を効果的に融合させるクロスアテンション機構を採用している。
テンプル大学脳波コーパスとCHB-MITデータセットによる実験結果から、CRIAは既存の方法よりも、同じ事前学習条件で優れていることが示された。
論文 参考訳(メタデータ) (2025-06-19T06:31:08Z) - CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。
具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。
このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
論文 参考訳(メタデータ) (2024-12-13T16:27:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。