論文の概要: CognitionCapturerPro: Towards High-Fidelity Visual Decoding from EEG/MEG via Multi-modal Information and Asymmetric Alignment
- arxiv url: http://arxiv.org/abs/2603.12722v1
- Date: Fri, 13 Mar 2026 07:09:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:11.959484
- Title: CognitionCapturerPro: Towards High-Fidelity Visual Decoding from EEG/MEG via Multi-modal Information and Asymmetric Alignment
- Title（参考訳）: CognitionCapturerPro:マルチモーダル情報と非対称アライメントによる脳波/MEGからの高忠実な視覚デコーディングを目指して
- Authors: Kaifan Zhang, Lihuo He, Junjie Ke, Yuqi Ji, Lukun Wu, Lizi Wang, Xinbo Gao,
- Abstract要約: 我々は,脳波とマルチモーダル前処理を統合する拡張フレームワークであるCognitionCapturerProを提案する。
私たちのコアコントリビューションには、モダリティ固有の忠実度を定量化する不確実性重み付き類似度スコアリング機構が含まれています。
本手法は,THINGS-EEGデータセットにおいて,元のCognitionCapturerよりも優れていた。
- 参考スコア（独自算出の注目度）: 45.97387848059231
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Visual stimuli reconstruction from EEG remains challenging due to fidelity loss and representation shift. We propose CognitionCapturerPro, an enhanced framework that integrates EEG with multi-modal priors (images, text, depth, and edges) via collaborative training. Our core contributions include an uncertainty-weighted similarity scoring mechanism to quantify modality-specific fidelity and a fusion encoder for integrating shared representations. By employing a simplified alignment module and a pre-trained diffusion model, our method significantly outperforms the original CognitionCapturer on the THINGS-EEG dataset, improving Top-1 and Top-5 retrieval accuracy by 25.9% and 10.6%, respectively. Code is available at: https://github.com/XiaoZhangYES/CognitionCapturerPro.
- Abstract（参考訳）: 脳波からの視覚刺激の再建は、忠実度喪失と表現シフトのため、依然として困難である。
我々はCognitionCapturerProを提案する。コラボレーティブトレーニングを通じて、EEGとマルチモーダル事前(画像、テキスト、深さ、エッジ)を統合する拡張フレームワークである。
我々のコアコントリビューションには、モダリティ固有の忠実度を定量化する不確実性重み付き類似度スコアリング機構と、共有表現を統合するための融合エンコーダが含まれる。
単純化したアライメントモジュールと事前学習した拡散モデルを用いて、THINGS-EEGデータセット上で元のCognitionCapturerを著しく上回り、Top-1とTop-5の精度をそれぞれ25.9%と10.6%向上させた。
コードは、https://github.com/XiaoZhangYES/CognitionCapturerProで入手できる。
関連論文リスト
- Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。
KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
論文 参考訳（メタデータ） (2025-10-23T07:12:26Z) - PS-ReID: Advancing Person Re-Identification and Precise Segmentation with Multimodal Retrieval [38.530536338075684]
人物再識別(ReID)は、セキュリティ監視や刑事捜査などの応用において重要な役割を果たす。
画像とテキストの入力を組み合わせたマルチモーダルモデルであるbf PS-ReIDを提案する。
実験の結果、PS-ReIDは、ReIDとセグメンテーションタスクの両方において、ユニモーダルクエリベースのモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2025-03-27T15:14:03Z) - CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。
具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。
このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
論文 参考訳（メタデータ） (2024-12-13T16:27:54Z) - Unity in Diversity: Multi-expert Knowledge Confrontation and Collaboration for Generalizable Vehicle Re-identification [60.20318058777603]
一般化可能な車両再識別(ReID)は、微調整や再訓練を必要とせず、未知のターゲットドメインに適応可能なモデルの開発を目指している。
これまでの研究は主に、ソースドメイン間のデータ分散を調整することで、ドメイン不変の機能の抽出に重点を置いてきた。
そこで本研究では,この問題を解決するために,2段階のMulti-expert Knowledge Confrontation and Collaboration(MiKeCoCo)手法を提案する。
論文 参考訳（メタデータ） (2024-07-10T04:06:39Z) - Deep Common Feature Mining for Efficient Video Semantic Segmentation [25.851900402539467]
ビデオセマンティックセグメンテーションのためのDeep Common Feature Mining(DCFM)を提案する。
DCFMは、機能を2つの補完的なコンポーネントに明示的に分解する。
自己教師付き損失関数を組み込んで,クラス内特徴の類似性を強化し,時間的整合性を高める。
論文 参考訳（メタデータ） (2024-03-05T06:17:59Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。