論文の概要: Reconstructing Visual Stimulus Images from EEG Signals Based on Deep
Visual Representation Model
- arxiv url: http://arxiv.org/abs/2403.06532v1
- Date: Mon, 11 Mar 2024 09:19:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:42:15.927822
- Title: Reconstructing Visual Stimulus Images from EEG Signals Based on Deep
Visual Representation Model
- Title（参考訳）: 深部視覚表現モデルに基づく脳波信号からの視覚刺激画像の再構成
- Authors: Hongguang Pan, Zhuoyi Li, Yunpeng Fu, Xuebin Qin, Jianchen Hu
- Abstract要約: 本稿では,脳波信号に基づく新しい画像再構成手法を提案する。
高速スイッチング方式で視覚刺激画像の高認識性を実現するため,視覚刺激画像データセットを構築した。
主エンコーダと従属デコーダからなる深部視覚表現モデル(DVRM)を提案し,視覚刺激を再構成する。
- 参考スコア（独自算出の注目度）: 5.483279087074447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing visual stimulus images is a significant task in neural
decoding, and up to now, most studies consider the functional magnetic
resonance imaging (fMRI) as the signal source. However, the fMRI-based image
reconstruction methods are difficult to widely applied because of the
complexity and high cost of the acquisition equipments. Considering the
advantages of low cost and easy portability of the electroencephalogram (EEG)
acquisition equipments, we propose a novel image reconstruction method based on
EEG signals in this paper. Firstly, to satisfy the high recognizability of
visual stimulus images in fast switching manner, we build a visual stimuli
image dataset, and obtain the EEG dataset by a corresponding EEG signals
collection experiment. Secondly, the deep visual representation model(DVRM)
consisting of a primary encoder and a subordinate decoder is proposed to
reconstruct visual stimuli. The encoder is designed based on the
residual-in-residual dense blocks to learn the distribution characteristics
between EEG signals and visual stimulus images, while the decoder is designed
based on the deep neural network to reconstruct the visual stimulus image from
the learned deep visual representation. The DVRM can fit the deep and multiview
visual features of human natural state and make the reconstructed images more
precise. Finally, we evaluate the DVRM in the quality of the generated images
on our EEG dataset. The results show that the DVRM have good performance in the
task of learning deep visual representation from EEG signals and generating
reconstructed images that are realistic and highly resemble the original
images.
- Abstract（参考訳）: 視覚刺激画像の再構成は神経デコーディングにおいて重要な課題であり、これまでは機能的磁気共鳴画像(fMRI)を信号源とみなす研究がほとんどである。
しかし,fMRIを用いた画像再構成法は,取得装置の複雑さとコストが高いため,広く適用が困難である。
本稿では,脳波取得装置(EEG)の低コスト化と移植性の向上を考慮し,脳波信号に基づく新しい画像再構成手法を提案する。
まず,視覚刺激画像の高認識性を実現するため,視覚刺激画像データセットを構築し,対応する脳波信号収集実験により脳波データセットを得る。
次に、主エンコーダと従属デコーダからなる深部視覚表現モデル(DVRM)を提案し、視覚刺激を再構成する。
エンコーダは脳波信号と視覚刺激画像の分布特性を学習するために残差密度ブロックに基づいて設計され、デコーダは深部ニューラルネットワークに基づいて設計され、学習された深部視覚表現から視覚刺激画像を再構成する。
DVRMは人間の自然状態の深部と多面的な視覚的特徴に適合し、再構成された画像をより正確にすることができる。
最後に、脳波データセット上で生成された画像の品質をDVRMで評価する。
その結果、DVRMは脳波信号から深部視覚表現を学習し、元の画像に非常によく似た写実的な再構成画像を生成するタスクにおいて優れた性能を示した。
関連論文リスト
- Reconstructive Visual Instruction Tuning [64.91373889600136]
リコンストラクティブ・ビジュアル・インストラクション・チューニング(ROSS)は、視覚中心の監視信号を利用する大型マルチモーダル・モデル(LMM)のファミリーである。
入力画像の潜在表現を再構成し、正確なRGB値を直接回帰するのを避ける。
経験的に、ROSSは、異なるビジュアルエンコーダと言語モデルに対して、一貫して大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-12T15:54:29Z) - BrainDecoder: Style-Based Visual Decoding of EEG Signals [2.1611379205310506]
脳波(EEG)から視覚刺激の神経表現をデコードすることで、脳の活動と認知に関する貴重な洞察が得られる。
近年の深層学習の進歩は脳波の視覚的復号化の分野を著しく強化している。
被験者が見ている画像の色やテクスチャなどのスタイルの再構築を強調する新しいビジュアルデコードパイプラインを提案する。
論文 参考訳（メタデータ） (2024-09-09T02:14:23Z) - BrainVis: Exploring the Bridge between Brain and Visual Signals via Image Reconstruction [7.512223286737468]
脳信号からの視覚刺激の分析と再構成は、人間の視覚系の理解を効果的に進める。
しかし、脳波信号は複雑であり、大きなノイズを含む。
これにより、脳波からの視覚刺激再建の既存の作品にかなりの制限が生じる。
我々はこれらの課題に対処するためにBrainVisと呼ばれる新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-12-22T17:49:11Z) - Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。
ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。
本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2023-10-25T10:26:07Z) - Decoding visual brain representations from electroencephalography
through Knowledge Distillation and latent diffusion models [0.12289361708127873]
本稿では,脳波(EEG)データを用いて,ImageNetデータセットから画像の分類と再構成を行う革新的な手法を提案する。
我々は6人の被験者の脳波記録を分析し、それぞれ40のユニークな意味カテゴリーにまたがる50の画像に暴露した。
我々は,事前学習した潜伏拡散モデルに基づく画像再構成機構を導入し,脳波を誘発した画像の推定を可能とした。
論文 参考訳（メタデータ） (2023-09-08T09:13:50Z) - Seeing through the Brain: Image Reconstruction of Visual Perception from
Human Brain Signals [27.92796103924193]
脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。
我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
論文 参考訳（メタデータ） (2023-07-27T12:54:16Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳（メタデータ） (2023-05-17T11:36:40Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-09-19T09:43:19Z) - Adaptive Gradient Balancing for UndersampledMRI Reconstruction and
Image-to-Image Translation [60.663499381212425]
本研究では,新しい適応勾配バランス手法を併用したwasserstein生成逆ネットワークを用いて,画質の向上を図る。
MRIでは、他の技術よりも鮮明な画像を生成する高品質の再構築を維持しながら、アーティファクトを最小限に抑えます。
論文 参考訳（メタデータ） (2021-04-05T13:05:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。