論文の概要: EEG2Vision: A Multimodal EEG-Based Framework for 2D Visual Reconstruction in Cognitive Neuroscience
- arxiv url: http://arxiv.org/abs/2604.08063v1
- Date: Thu, 09 Apr 2026 10:25:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.861419
- Title: EEG2Vision: A Multimodal EEG-Based Framework for 2D Visual Reconstruction in Cognitive Neuroscience
- Title（参考訳）: EEG2Vision:認知神経科学における2次元視覚再構成のためのマルチモーダル脳波ベースフレームワーク
- Authors: Emanuele Balloni, Emanuele Frontoni, Chiara Matti, Marina Paolanti, Roberto Pierdicca, Emiliano Santarnecchi,
- Abstract要約: 私たちは、モジュール化されたエンドツーエンドのEEG-to-imageフレームワークであるEEG2Visionを紹介します。
異なる脳波解像度の再構成性能を評価する。
アクシデント誘導後のブースティング機構によって視覚的品質を向上させる。
- 参考スコア（独自算出の注目度）: 14.30030169416955
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing visual stimuli from non-invasive electroencephalography (EEG) remains challenging due to its low spatial resolution and high noise, particularly under realistic low-density electrode configurations. To address this, we present EEG2Vision, a modular, end-to-end EEG-to-image framework that systematically evaluates reconstruction performance across different EEG resolutions (128, 64, 32, and 24 channels) and enhances visual quality through a prompt-guided post-reconstruction boosting mechanism. Starting from EEG-conditioned diffusion reconstruction, the boosting stage uses a multimodal large language model to extract semantic descriptions and leverages image-to-image diffusion to refine geometry and perceptual coherence while preserving EEG-grounded structure. Our experiments show that semantic decoding accuracy degrades significantly with channel reduction (e.g., 50-way Top-1 Acc from 89% to 38%), while reconstruction quality slight decreases (e.g., FID from 76.77 to 80.51). The proposed boosting consistently improves perceptual metrics across all configurations, achieving up to 9.71% IS gains in low-channel settings. A user study confirms the clear perceptual preference for boosted reconstructions. The proposed approach significantly boosts the feasibility of real-time brain-2-image applications using low-resolution EEG devices, potentially unlocking this type of applications outside laboratory settings.
- Abstract（参考訳）: 非侵襲脳波(EEG)による視覚刺激の再構成は、特に現実的な低密度電極構成下では、空間分解能が低く、高ノイズのため、依然として困難である。
これを解決するために、我々は、異なるEEG解像度(128、64、32、24チャンネル)にわたる再構築性能を体系的に評価し、迅速な再建後強化機構を通じて視覚的品質を向上させる、モジュール型のエンドツーエンドのEEG-to-imageフレームワークであるEEG2Visionを提案する。
脳波条件による拡散再構成から始めて、ブースティングステージは多モーダルな言語モデルを用いて意味的記述を抽出し、画像と画像の拡散を利用して脳波の基底構造を維持しながら幾何学と知覚的コヒーレンスを洗練する。
提案実験により, 意味的復号精度は, チャネルの減少とともに著しく低下し (例: 50-way Top-1 Acc が89%から38%) , 再構成品質はわずかに低下する (例: FID が76.77から80.51まで)。
提案されたブースティングは、すべての構成における知覚的指標を一貫して改善し、低チャンネル設定で最大9.71%のISゲインを達成する。
ユーザによる調査では,再建の促進に対する知覚的嗜好が明確であることが確認された。
提案手法は、低解像度の脳波デバイスを用いたリアルタイム脳2画像アプリケーションの実現可能性を大幅に向上させ、実験室外でこの種のアプリケーションをアンロックする可能性がある。
関連論文リスト
- Aligning What EEG Can See: Structural Representations for Brain-Vision Matching [26.36030588128271]
脳波(EEG)からの視覚的デコーディングは、非侵襲的な脳-コンピュータインターフェースのための、非常に有望な道として現れてきた。
既存の脳波に基づく復号法は、主に脳信号を深部視覚モデルの最終層セマンティック埋め込みと整合させる。
ニューラルビザビリティの概念を導入し,脳波可視層選択戦略を提案する。
論文 参考訳（メタデータ） (2026-03-07T07:12:08Z) - SYNAPSE: Synergizing an Adapter and Finetuning for High-Fidelity EEG Synthesis from a CLIP-Aligned Encoder [0.0]
SynAPSEは、脳波信号表現学習と高忠実度画像合成を橋渡しする2段階のフレームワークである。
本手法はCVPR40データセット上で,意味的コヒーレントな潜在空間と最先端の知覚的忠実性を実現する。
論文 参考訳（メタデータ） (2025-11-11T02:53:49Z) - EEG-Driven Image Reconstruction with Saliency-Guided Diffusion Models [4.815274507478168]
既存の脳波駆動画像再構成法は、しばしば空間的注意機構を見落とし、忠実さとセマンティックコヒーレンスを制限する。
本稿では,脳波の埋め込みと空間空間分布マップを組み合わせることで画像生成を向上する2つの条件付けフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-30T11:34:37Z) - Accelerating 3D Photoacoustic Computed Tomography with End-to-End Physics-Aware Neural Operators [74.65171736966131]
光音響計算トモグラフィ(PACT)は、光コントラストと超音波分解能を組み合わせることで、光拡散限界を超える深部像を実現する。
現在の実装では、高密度トランスデューサアレイと長い取得時間を必要とし、臨床翻訳を制限している。
本研究では,センサ計測からボリューム再構成まで,逆音響マッピングを直接学習する物理認識モデルであるPanoを紹介する。
論文 参考訳（メタデータ） (2025-09-11T23:12:55Z) - CryoFastAR: Fast Cryo-EM Ab Initio Reconstruction Made Easy [58.86576215228903]
我々はCryo-EMノイズ画像から直接ポーズを予測できる最初の幾何学的基礎モデルであるCryoFastARを紹介した。
CryoFastARは、マルチビュー機能と、大規模シミュレーションされたCryo-EMデータに現実的なノイズとCTF変調を統合することで、ポーズ推定精度と一般化を向上する。
論文 参考訳（メタデータ） (2025-06-06T08:32:32Z) - DCI: Dual-Conditional Inversion for Boosting Diffusion-Based Image Editing [73.12011187146481]
Diffusionモデル内のインバージョンは、実または生成された画像の潜時雑音表現を復元することを目的としている。
ほとんどの反転アプローチは、復元精度と編集の柔軟性の間の本質的にのトレードオフに悩まされている。
本稿ではDCI(Dual-Conditional Inversion)について紹介する。
論文 参考訳（メタデータ） (2025-06-03T07:46:44Z) - CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。
具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。
このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
論文 参考訳（メタデータ） (2024-12-13T16:27:54Z) - BrainVis: Exploring the Bridge between Brain and Visual Signals via Image Reconstruction [7.512223286737468]
脳信号からの視覚刺激の分析と再構成は、人間の視覚系の理解を効果的に進める。
しかし、脳波信号は複雑であり、大きなノイズを含む。
これにより、脳波からの視覚刺激再建の既存の作品にかなりの制限が生じる。
我々はこれらの課題に対処するためにBrainVisと呼ばれる新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-12-22T17:49:11Z) - Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。
ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。
本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-10-25T10:26:07Z) - Multi-Channel Convolutional Analysis Operator Learning for Dual-Energy
CT Reconstruction [108.06731611196291]
我々は,多チャンネル畳み込み解析演算子学習法(MCAOL)を開発した。
本研究では,低エネルギー,高エネルギーで減衰画像を共同で再構成する最適化手法を提案する。
論文 参考訳（メタデータ） (2022-03-10T14:22:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。