論文の概要: SYNAPSE: Synergizing an Adapter and Finetuning for High-Fidelity EEG Synthesis from a CLIP-Aligned Encoder
- arxiv url: http://arxiv.org/abs/2511.17547v1
- Date: Tue, 11 Nov 2025 02:53:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-07 19:06:32.260743
- Title: SYNAPSE: Synergizing an Adapter and Finetuning for High-Fidelity EEG Synthesis from a CLIP-Aligned Encoder
- Title（参考訳）: SynAPSE:CLIP対応エンコーダのアダプタと高忠実脳波合成のための微調整
- Authors: Jeyoung Lee, Hochul Kang,
- Abstract要約: SynAPSEは、脳波信号表現学習と高忠実度画像合成を橋渡しする2段階のフレームワークである。
本手法はCVPR40データセット上で,意味的コヒーレントな潜在空間と最先端の知覚的忠実性を実現する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in diffusion-based generative models has enabled high-quality image synthesis conditioned on diverse modalities. Extending such models to brain signals could deepen our understanding of human perception and mental representations. However,electroencephalography (EEG) presents major challenges for image generation due to high noise, low spatial resolution, and strong inter-subject variability. Existing approaches,such as DreamDiffusion, BrainVis, and GWIT, primarily adapt EEG features to pre-trained Stable Diffusion models using complex alignment or classification pipelines, often resulting in large parameter counts and limited interpretability. We introduce SYNAPSE, a two-stage framework that bridges EEG signal representation learning and high-fidelity image synthesis. In Stage1, a CLIP-aligned EEG autoencoder learns a semantically structured latent representation by combining signal reconstruction and cross-modal alignment objectives. In Stage2, the pretrained encoder is frozen and integrated with a lightweight adaptation of Stable Diffusion, enabling efficient conditioning on EEG features with minimal trainable parameters. Our method achieves a semantically coherent latent space and state-of-the-art perceptual fidelity on the CVPR40 dataset, outperforming prior EEG-to-image models in both reconstruction efficiency and image quality. Quantitative and qualitative analyses demonstrate that SYNAPSE generalizes effectively across subjects, preserving visual semantics even when class-level agreement is reduced. These results suggest that reconstructing what the brain perceives, rather than what it classifies, is key to faithful EEG-based image generation.
- Abstract（参考訳）: 拡散に基づく生成モデルの最近の進歩により、様々なモダリティを条件とした高品質な画像合成が可能になった。
このようなモデルを脳信号に拡張することで、人間の知覚と精神的表現の理解を深めることができます。
しかし、脳波検査(EEG)は、高ノイズ、低空間分解能、強い物体間変動による画像生成に大きな課題を呈している。
既存のアプローチ、例えばDreamDiffusion、BrainVis、GWITは、主に複雑なアライメントや分類パイプラインを使用してトレーニング済みの安定拡散モデルにEEG機能を適用する。
本稿では,脳波信号表現学習と高忠実度画像合成を橋渡しする2段階フレームワークであるSynAPSEを紹介する。
ステージ1では、CLIP対応のEEGオートエンコーダが信号再構成とモード間アライメントの目的を組み合わせることで、意味的に構造化された潜在表現を学習する。
ステージ2では、事前訓練されたエンコーダは凍結され、安定拡散の軽量な適応と統合され、最小限のトレーニング可能なパラメータでEEG機能の効率的な条件付けを可能にする。
本手法は,CVPR40データセットにおける意味的コヒーレントな潜在空間と最先端の知覚忠実度を実現し,再現効率と画像品質の両方において,以前の脳波画像モデルよりも優れていた。
定量的および質的分析により、SynAPSEは、クラスレベルの合意が減少しても視覚的意味論を保ちながら、被験者間で効果的に一般化することを示した。
これらの結果は、脳が知覚するものを分類するのではなく再構築することが、忠実な脳波画像生成の鍵であることを示唆している。
関連論文リスト
- NeuroCLIP: Brain-Inspired Prompt Tuning for EEG-to-Image Multimodal Contrastive Learning [13.254096454986318]
脳波から画像へのコントラスト学習に適したプロンプトチューニングフレームワークであるNeuroCLIPを提案する。
我々は初めて視覚的プロンプトトークンを脳波画像アライメントに導入し、グローバルなモダリティレベルのプロンプトとして機能する。
THINGS-EEG2データセットでは、NeuroCLIPはゼロショット画像検索において63.2%のTop-1精度を達成した。
論文 参考訳（メタデータ） (2025-11-12T12:13:24Z) - EEG-Driven Image Reconstruction with Saliency-Guided Diffusion Models [4.815274507478168]
既存の脳波駆動画像再構成法は、しばしば空間的注意機構を見落とし、忠実さとセマンティックコヒーレンスを制限する。
本稿では,脳波の埋め込みと空間空間分布マップを組み合わせることで画像生成を向上する2つの条件付けフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-30T11:34:37Z) - Image-to-Brain Signal Generation for Visual Prosthesis with CLIP Guided Multimodal Diffusion Models [6.761875482596085]
画像からM/EEGを生成する最初の画像-脳信号フレームワークを提案する。
提案フレームワークは,事前学習したCLIPビジュアルエンコーダと,有意な拡張U-Net拡散モデルからなる。
コンディショニングのための単純な結合に依存する従来の生成モデルとは異なり、我々のクロスアテンションモジュールは視覚的特徴と脳信号表現の間の複雑な相互作用を捉えている。
論文 参考訳（メタデータ） (2025-08-31T10:29:58Z) - Category-aware EEG image generation based on wavelet transform and contrast semantic loss [4.165508411354963]
本稿では、離散ウェーブレット変換(DWT)とゲーティング機構を統合したトランスフォーマーベースのEEG信号エンコーダを提案する。
このエンコーダは,脳波信号から視覚刺激に関連する特徴を抽出するために用いられる。
事前学習した拡散モデルにより、これらの特徴は視覚刺激に再構成される。
論文 参考訳（メタデータ） (2025-05-30T07:24:58Z) - CognitionCapturer: Decoding Visual Stimuli From Human EEG Signal With Multimodal Information [61.1904164368732]
脳波信号の表現にマルチモーダルデータを完全に活用する統合フレームワークであるCognitionCapturerを提案する。
具体的には、CognitionCapturerは、各モダリティに対してモダリティエキスパートを訓練し、EEGモダリティからモダリティ情報を抽出する。
このフレームワークは生成モデルの微調整を一切必要とせず、より多くのモダリティを組み込むように拡張することができる。
論文 参考訳（メタデータ） (2024-12-13T16:27:54Z) - Deformation-aware GAN for Medical Image Synthesis with Substantially Misaligned Pairs [0.0]
本稿では,逆整合性に基づく画像合成における誤りを動的に補正する新しい変形認識型GAN(DA-GAN)を提案する。
実験の結果, DA-GANは, 呼吸運動異常を伴う実世界の肺MRI-CTデータセットと模擬誤診を伴う公共データセットにおいて, 優れた性能を示した。
論文 参考訳（メタデータ） (2024-08-18T10:29:35Z) - CSLP-AE: A Contrastive Split-Latent Permutation Autoencoder Framework
for Zero-Shot Electroencephalography Signal Conversion [49.1574468325115]
脳波分析の鍵となる目的は、基礎となる神経活動(コンテンツ)を抽出し、個体の変動(スタイル)を考慮することである。
近年の音声変換技術の発展に触発されて,脳波変換を直接最適化するCSLP-AEフレームワークを提案する。
論文 参考訳（メタデータ） (2023-11-13T22:46:43Z) - You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment [45.62136459502005]
本稿では,完全な参照 (FR) と非参照 (NR) IQA を行うネットワークを提案する。
まず、入力画像から多レベル特徴を抽出するためにエンコーダを用いる。
FRおよびNR入力のユニバーサルアダプタとして階層的注意(HA)モジュールを提案する。
エンコーダの浅い層と深い層との間の特徴相関を調べるために, セマンティック・ディストーション・アウェア (SDA) モジュールを提案する。
論文 参考訳（メタデータ） (2023-10-14T11:03:04Z) - Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition [61.87842307164351]
まず,画像生成ネットワークの監視に新たな知覚損失を適用したIACycleGAN(Identity-Aware CycleGAN)モデルを提案する。
眼や鼻などの重要な顔領域の合成により多くの注意を払うことで、フォトエッチング合成におけるサイクガンを改善する。
IACycleGANによる画像の合成を反復的に行う合成モデルと認識モデルとの相互最適化手法を開発した。
論文 参考訳（メタデータ） (2021-03-30T01:30:08Z) - High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。
提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。
単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
論文 参考訳（メタデータ） (2020-01-13T14:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。