論文の概要: Visual Neural Decoding via Improved Visual-EEG Semantic Consistency

• arxiv url: http://arxiv.org/abs/2408.06788v1
• Date: Tue, 13 Aug 2024 10:16:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 17:56:13.603410
• Title: Visual Neural Decoding via Improved Visual-EEG Semantic Consistency
• Title（参考訳）: 改良されたビジュアルEEGセマンティック一貫性によるビジュアルニューラルデコーディング
• Authors: Hongzhou Chen, Lianghua He, Yihang Liu, Longzhen Yang,
• Abstract要約: EEG機能をCLIP埋め込みスペースに直接マッピングするメソッドは、マッピングバイアスを導入し、セマンティックな矛盾を引き起こす可能性がある。 最適アライメントを容易にするために,これらの2つのモードのセマンティックな特徴を明示的に抽出する Visual-EEG Semantic Decouple Framework を提案する。 提案手法は,ゼロショットニューラルデコードタスクの最先端化を実現する。
• 参考スコア（独自算出の注目度）: 3.4061238650474657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual neural decoding refers to the process of extracting and interpreting original visual experiences from human brain activity. Recent advances in metric learning-based EEG visual decoding methods have delivered promising results and demonstrated the feasibility of decoding novel visual categories from brain activity. However, methods that directly map EEG features to the CLIP embedding space may introduce mapping bias and cause semantic inconsistency among features, thereby degrading alignment and impairing decoding performance. To further explore the semantic consistency between visual and neural signals. In this work, we construct a joint semantic space and propose a Visual-EEG Semantic Decouple Framework that explicitly extracts the semantic-related features of these two modalities to facilitate optimal alignment. Specifically, a cross-modal information decoupling module is introduced to guide the extraction of semantic-related information from modalities. Then, by quantifying the mutual information between visual image and EEG features, we observe a strong positive correlation between the decoding performance and the magnitude of mutual information. Furthermore, inspired by the mechanisms of visual object understanding from neuroscience, we propose an intra-class geometric consistency approach during the alignment process. This strategy maps visual samples within the same class to consistent neural patterns, which further enhances the robustness and the performance of EEG visual decoding. Experiments on a large Image-EEG dataset show that our method achieves state-of-the-art results in zero-shot neural decoding tasks.
• Abstract（参考訳）: ビジュアル・ニューラル・デコーディング(英: Visual Neural Decoding)とは、人間の脳活動からオリジナルの視覚体験を抽出し、解釈する過程のこと。 近年の計量学習に基づく脳波視覚復号法は有望な成果をもたらし,脳活動から新たな視覚カテゴリーを復号する可能性を示した。 しかし、EEG機能をCLIP埋め込み空間に直接マッピングする手法は、マッピングバイアスを導入し、特徴間の意味的不整合を引き起こす可能性があるため、アライメントが低下し、デコード性能が低下する。 視覚信号と神経信号のセマンティック一貫性をさらに探求する。 本研究では,共同意味空間を構築し,これら2つのモードのセマンティックな特徴を明示的に抽出し,最適アライメントを容易にするVisual-EEG Semantic Deouple Frameworkを提案する。 具体的には、モダリティからのセマンティック関連情報の抽出を導くために、クロスモーダル情報デカップリングモジュールを導入する。 そして、視覚画像と脳波の特徴間の相互情報を定量化することにより、復号性能と相互情報の規模との間に強い正の相関関係を観測する。 さらに、神経科学からの視覚的物体理解のメカニズムに着想を得て、アライメント過程におけるクラス内幾何整合性アプローチを提案する。 この戦略は、同じクラス内の視覚サンプルを一貫したニューラルネットワークパターンにマッピングする。 大規模な画像-EEGデータセットを用いた実験により,ゼロショットニューラルデコードタスクにおける最先端の結果が得られた。

関連論文リスト

• BrainDecoder: Style-Based Visual Decoding of EEG Signals [2.1611379205310506]
  脳波(EEG)から視覚刺激の神経表現をデコードすることで、脳の活動と認知に関する貴重な洞察が得られる。 近年の深層学習の進歩は脳波の視覚的復号化の分野を著しく強化している。 被験者が見ている画像の色やテクスチャなどのスタイルの再構築を強調する新しいビジュアルデコードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-09-09T02:14:23Z)
• GEM: Context-Aware Gaze EstiMation with Visual Search Behavior Matching for Chest Radiograph [32.1234295417225]
  本稿では,放射線科医が収集した視線データを用いて視覚的な探索行動パターンをシミュレートする,文脈対応型Gaze EstiMation (GEM) ネットワークを提案する。 コンテキスト認識モジュール、視覚行動グラフ構築、視覚行動マッチングで構成される。 4つの公開データセットの実験は、既存の方法よりもGEMの方が優れていることを示している。
  論文  参考訳（メタデータ） (2024-08-10T09:46:25Z)
• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
  本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。 ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。 本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-10-25T10:26:07Z)
• A Knowledge-Driven Cross-view Contrastive Learning for EEG Representation [48.85731427874065]
  本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。 KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。 ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
  論文  参考訳（メタデータ） (2023-09-21T08:53:51Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• See What You See: Self-supervised Cross-modal Retrieval of Visual Stimuli from Brain Activity [37.837710340954374]
  本稿では2つのモダリティのデータをアノテーションとは対照的に相関する1段階の脳波視覚検索パラダイムを提案する。 提案手法は,既存の手法では不可能な,インスタンスレベルの脳波視覚検索タスクを完了させる。
  論文  参考訳（メタデータ） (2022-08-07T08:11:15Z)
• Cross-modal Representation Learning for Zero-shot Action Recognition [67.57406812235767]
  我々は、ゼロショット動作認識(ZSAR)のためのビデオデータとテキストラベルを共同で符号化するクロスモーダルトランスフォーマーベースのフレームワークを提案する。 我々のモデルは概念的に新しいパイプラインを使用し、視覚的表現と視覚的意味的関連をエンドツーエンドで学習する。 実験結果から,本モデルはZSARの芸術的状況に大きく改善され,UCF101,HMDB51,ActivityNetベンチマークデータセット上でトップ1の精度が向上した。
  論文  参考訳（メタデータ） (2022-05-03T17:39:27Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。