論文の概要: Subject-Aware Multi-Granularity Alignment for Zero-Shot EEG-to-Image Retrieval

• arxiv url: http://arxiv.org/abs/2604.17782v1
• Date: Mon, 20 Apr 2026 04:10:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.685606
• Title: Subject-Aware Multi-Granularity Alignment for Zero-Shot EEG-to-Image Retrieval
• Title（参考訳）: ゼロショット脳波画像検索のための主観的マルチグラニュラリティアライメント
• Authors: Lin Jiang, Qingshan She, Jiale Xu, Haiqi Xu, Duanpo Wu, Zhenzhong Kuang,
• Abstract要約: ゼロショット脳波画像検索のための主観的マルチグラニュラリティアライメント(SAMGA)フレームワークを提案する。 SAMGAは、まず、事前学習された視覚エンコーダから複数の中間表現を適応的に集約することにより、対象を意識した視覚監視ターゲットを構築する。 THINGS-EEGベンチマークの実験では、提案手法はオブジェクト内設定で91.3%のTop-1と98.8%のTop-5の精度、オブジェクト間設定で34.4%のTop-1と64.8%のTop-5の精度を達成した。
• 参考スコア（独自算出の注目度）: 6.9700202682590024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot EEG-to-image retrieval aims to decode perceived visual content from electroencephalography (EEG) by aligning neural responses with pretrained visual representations, providing a promising route toward scalable visual neural decoding and practical brain-computer interfaces. However, robust EEG-to-image retrieval remains challenging, because prior methods usually rely on either a single fixed visual target or a subject-invariant target construction scheme. Such designs overlook two important properties of visually evoked EEG signals: they preserve information across multiple representational scales, and the visual granularity best matched to EEG may vary across subjects. To address these issues, subject-aware multi-granularity alignment (SAMGA) framework is proposed for zero-shot EEG-to-image retrieval. SAMGA first constructs a subject-aware visual supervision target by adaptively aggregating multiple intermediate representations from a pretrained vision encoder, allowing the model to absorb subject-dependent granularity deviations during training while preserving subject-agnostic inference. Building on this adaptive target construction, a coarse-to-fine cross-modal alignment strategy is further designed with a shared encoder wherein the coarse stage stabilizes the shared semantic geometry and reduces subject-induced distribution shift, and the fine stage further improves instance-level retrieval discrimination. Extensive experiments on the THINGS-EEG benchmark demonstrate that the proposed method achieves 91.3% Top-1 and 98.8% Top-5 accuracy in the intra-subject setting, and 34.4% Top-1 and 64.8% Top-5 accuracy in the inter-subject setting, outperforming recent state-of-the-art methods.
• Abstract（参考訳）: ゼロショット脳波画像検索は、脳波(EEG)から知覚された視覚コンテンツをデコードすることを目的として、神経応答と事前訓練された視覚表現を整列させ、スケーラブルな視覚神経デコードと実用的な脳-コンピュータインターフェースへの有望な経路を提供する。 しかし、従来の手法では、単一の固定された視覚的ターゲットか、主観的不変なターゲット構築スキームのいずれかに依存していたため、ロバストな脳波画像検索は依然として困難である。 このような設計は、視覚的に誘発される脳波信号の2つの重要な特性を見落としている。 これらの課題に対処するために、ゼロショット脳波画像検索のための主観認識多粒性アライメント(SAMGA)フレームワークを提案する。 SAMGAは、まず、事前訓練された視覚エンコーダから複数の中間表現を適応的に集約し、トレーニング中に被写体依存の粒度偏差を吸収し、被写体非依存の推論を保存することにより、被写体認識視覚監視ターゲットを構築する。 この適応的ターゲット構築に基づいて、共有エンコーダにより、粗い〜細いクロスモーダルアライメント戦略を更に設計し、粗いステージは共有意味幾何学を安定化し、主観的な分布シフトを低減し、さらに微細ステージは、インスタンスレベルの識別をさらに改善する。 THINGS-EEGベンチマークの大規模な実験により、提案手法は、オブジェクト内設定において91.3%のTop-1と98.8%のTop-5の精度、オブジェクト間設定において34.4%のTop-1と64.8%のTop-5の精度を達成し、最近の最先端手法よりも優れていることが示された。

関連論文リスト

• Aligning What EEG Can See: Structural Representations for Brain-Vision Matching [26.36030588128271]
  脳波(EEG)からの視覚的デコーディングは、非侵襲的な脳-コンピュータインターフェースのための、非常に有望な道として現れてきた。 既存の脳波に基づく復号法は、主に脳信号を深部視覚モデルの最終層セマンティック埋め込みと整合させる。 ニューラルビザビリティの概念を導入し,脳波可視層選択戦略を提案する。
  論文  参考訳（メタデータ） (2026-03-07T07:12:08Z)
• Autoregressive Visual Decoding from EEG Signals [14.213172378363216]
  脳波信号からの視覚的デコードのための軽量かつ効率的なフレームワークであるAVDEを提案する。 我々は「次世代の予測」戦略に基づく自己回帰的生成フレームワークを採用する。 2つのデータセットの実験により、AVDEは画像検索と再構成の両方において従来の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-02-26T02:49:04Z)
• SYNAPSE: Synergizing an Adapter and Finetuning for High-Fidelity EEG Synthesis from a CLIP-Aligned Encoder [0.0]
  SynAPSEは、脳波信号表現学習と高忠実度画像合成を橋渡しする2段階のフレームワークである。 本手法はCVPR40データセット上で,意味的コヒーレントな潜在空間と最先端の知覚的忠実性を実現する。
  論文  参考訳（メタデータ） (2025-11-11T02:53:49Z)
• CATVis: Context-Aware Thought Visualization [2.8298952038412706]
  脳波信号から視覚表現を復号するための新しい5段階フレームワークを提案する。 我々は、クロスモーダルアライメントと再ランク付けにより、コンテキスト対応の脳波画像生成を可能にする。 実験の結果,視覚刺激に合わせた高品質な画像が得られた。
  論文  参考訳（メタデータ） (2025-07-15T17:47:01Z)
• CRIA: A Cross-View Interaction and Instance-Adapted Pre-training Framework for Generalizable EEG Representations [52.251569042852815]
  CRIAは、可変長および可変チャネルコーディングを使用して、異なるデータセット間でEEGデータの統一表現を実現する適応フレームワークである。 このモデルでは、時間的、スペクトル的、空間的特徴を効果的に融合させるクロスアテンション機構を採用している。 テンプル大学脳波コーパスとCHB-MITデータセットによる実験結果から、CRIAは既存の方法よりも、同じ事前学習条件で優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-19T06:31:08Z)
• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning [2.087148326341881]
  本稿では,ゼロショット脳波画像分類のためのMUltimodal similarity-keeper contrastivE学習フレームワークを提案する。 我々は、脳波信号に適した多変量時系列エンコーダを開発し、正規化コントラスト脳波画像事前学習の有効性を評価する。 本手法は,200方向ゼロショット画像分類において,トップ1の精度が19.3%,トップ5の精度が48.8%の最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-06-05T16:42:23Z)
• Forgery-aware Adaptive Transformer for Generalizable Synthetic Image Detection [106.39544368711427]
  本研究では,様々な生成手法から偽画像を検出することを目的とした,一般化可能な合成画像検出の課題について検討する。 本稿では,FatFormerという新しいフォージェリー適応トランスフォーマー手法を提案する。 提案手法は, 平均98%の精度でGANを観測し, 95%の精度で拡散モデルを解析した。
  論文  参考訳（メタデータ） (2023-12-27T17:36:32Z)
• CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
  脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。 近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-13T22:46:43Z)
• Gradient-Induced Co-Saliency Detection [81.54194063218216]
  Co-SOD(Co-saliency Detection)は、一般的な唾液前景を関連画像のグループに分割することを目的としている。 本稿では,人間の行動にインスパイアされた,勾配誘導型共分散検出法を提案する。
  論文  参考訳（メタデータ） (2020-04-28T08:40:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。