論文の概要: ViEEG: Hierarchical Neural Coding with Cross-Modal Progressive Enhancement for EEG-Based Visual Decoding

• arxiv url: http://arxiv.org/abs/2505.12408v2
• Date: Sun, 25 May 2025 14:25:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:55.137606
• Title: ViEEG: Hierarchical Neural Coding with Cross-Modal Progressive Enhancement for EEG-Based Visual Decoding
• Title（参考訳）: ViEEG: 階層型ニューラルコーディングとクロスモーダルプログレッシブエンハンスメントによる脳波ベースビジュアルデコーディング
• Authors: Minxu Liu, Donghai Guan, Chuhang Zheng, Chunwei Tian, Jie Wen, Qi Zhu,
• Abstract要約: ViEEGは生物学的にインスパイアされた階層型EEGデコーディングフレームワークで、視覚処理のHubel-Wiesel理論と一致する。 従来の手法を45%以上上回り,40.9%が被写体依存のTop-1精度,22.9%がクロスオブジェクト設定のTop-1精度を実現している。
• 参考スコア（独自算出の注目度）: 14.18190036916225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding and decoding brain activity into visual representations is a fundamental challenge at the intersection of neuroscience and artificial intelligence. While EEG-based visual decoding has shown promise due to its non-invasive, low-cost nature and millisecond-level temporal resolution, existing methods are limited by their reliance on flat neural representations that overlook the brain's inherent visual hierarchy. In this paper, we introduce ViEEG, a biologically inspired hierarchical EEG decoding framework that aligns with the Hubel-Wiesel theory of visual processing. ViEEG decomposes each visual stimulus into three biologically aligned components-contour, foreground object, and contextual scene-serving as anchors for a three-stream EEG encoder. These EEG features are progressively integrated via cross-attention routing, simulating cortical information flow from V1 to IT to the association cortex. We further adopt hierarchical contrastive learning to align EEG representations with CLIP embeddings, enabling zero-shot object recognition. Extensive experiments on the THINGS-EEG dataset demonstrate that ViEEG achieves state-of-the-art performance, with 40.9% Top-1 accuracy in subject-dependent and 22.9% Top-1 accuracy in cross-subject settings, surpassing existing methods by over 45%. Our framework not only advances the performance frontier but also sets a new paradigm for biologically grounded brain decoding in AI.
• Abstract（参考訳）: 脳活動の視覚的表現への理解と復号化は、神経科学と人工知能の交差における根本的な課題である。 脳波に基づく視覚復号法は、非侵襲的で低コストな性質とミリ秒レベルの時間分解能により有望であるが、既存の手法は、脳の固有の視覚的階層を見下ろす平坦な神経表現に依存しているため制限されている。 本稿では,バイオインスパイアされた階層型脳波デコーディングフレームワークであるViEEGを紹介する。 ViEEGは、視覚刺激を3つの生物学的に整列した構成要素、前景のオブジェクト、文脈的なシーンに分解し、3ストリームのEEGエンコーダのアンカーとして機能させる。 これらの脳波機能は、V1からIT、および関連皮質への皮質情報の流れをシミュレートするクロスアテンションルーティングを通じて徐々に統合される。 さらに、脳波表現をCLIP埋め込みと整合させるために、階層的コントラスト学習を採用し、ゼロショットオブジェクト認識を可能にした。 THINGS-EEGデータセットの大規模な実験は、ViEEGが最先端のパフォーマンスを達成し、40.9%が被写体依存のTop-1精度、22.9%がクロスオブジェクト設定のTop-1精度で、既存の手法を45%以上上回っていることを示している。 我々のフレームワークは、パフォーマンスフロンティアを前進させるだけでなく、AIにおける生物学的基盤の脳デコードのための新しいパラダイムも設定します。

関連論文リスト

• CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
  脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。 具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。 このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:27:54Z)
• Neuro-3D: Towards 3D Visual Decoding from EEG Signals [49.502364730056044]
  脳波信号から3次元視覚知覚を復号する新しい神経科学タスクを導入する。 まず、ビデオと画像の両方でレンダリングされた72の3Dオブジェクトのカテゴリを閲覧する12人の被験者から、マルチモーダル分析データと脳波記録を含むデータセットであるEEG-3Dを提示する。 脳波信号に基づく3次元視覚デコーディングフレームワークNeuro-3Dを提案する。
  論文  参考訳（メタデータ） (2024-11-19T05:52:17Z)
• BrainVis: Exploring the Bridge between Brain and Visual Signals via Image Reconstruction [7.512223286737468]
  脳信号からの視覚刺激の分析と再構成は、人間の視覚系の理解を効果的に進める。 しかし、脳波信号は複雑であり、大きなノイズを含む。 これにより、脳波からの視覚刺激再建の既存の作品にかなりの制限が生じる。 我々はこれらの課題に対処するためにBrainVisと呼ばれる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:49:11Z)
• Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
  本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。 ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。 本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-10-25T10:26:07Z)
• A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
  本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。 ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
  論文  参考訳（メタデータ） (2023-09-21T08:53:51Z)
• Decoding Natural Images from EEG for Object Recognition [8.411976038504589]
  本稿では,脳波信号からの学習画像表現の実現可能性を示すための自己教師型フレームワークを提案する。 我々はトップ1の精度を15.6%、トップ5の精度を42.8%で達成し、200ウェイゼロショットタスクに挑戦する。 これらの発見は、実世界のシナリオにおける神経復号と脳-コンピュータインタフェースの貴重な洞察をもたらす。
  論文  参考訳（メタデータ） (2023-08-25T08:05:37Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。