論文の概要: Seeing through the Brain: Image Reconstruction of Visual Perception from
Human Brain Signals
- arxiv url: http://arxiv.org/abs/2308.02510v2
- Date: Wed, 16 Aug 2023 09:59:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 16:12:50.421644
- Title: Seeing through the Brain: Image Reconstruction of Visual Perception from
Human Brain Signals
- Title(参考訳): 脳を通して見る:人間の脳信号からの視覚知覚のイメージ再構成
- Authors: Yu-Ting Lan, Kan Ren, Yansen Wang, Wei-Long Zheng, Dongsheng Li,
Bao-Liang Lu, Lili Qiu
- Abstract要約: 脳波信号から視覚刺激像を再構成するための包括的パイプラインNeuroImagenを提案する。
我々は、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込んだ。
- 参考スコア(独自算出の注目度): 27.92796103924193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Seeing is believing, however, the underlying mechanism of how human visual
perceptions are intertwined with our cognitions is still a mystery. Thanks to
the recent advances in both neuroscience and artificial intelligence, we have
been able to record the visually evoked brain activities and mimic the visual
perception ability through computational approaches. In this paper, we pay
attention to visual stimuli reconstruction by reconstructing the observed
images based on portably accessible brain signals, i.e., electroencephalography
(EEG) data. Since EEG signals are dynamic in the time-series format and are
notorious to be noisy, processing and extracting useful information requires
more dedicated efforts; In this paper, we propose a comprehensive pipeline,
named NeuroImagen, for reconstructing visual stimuli images from EEG signals.
Specifically, we incorporate a novel multi-level perceptual information
decoding to draw multi-grained outputs from the given EEG data. A latent
diffusion model will then leverage the extracted information to reconstruct the
high-resolution visual stimuli images. The experimental results have
illustrated the effectiveness of image reconstruction and superior quantitative
performance of our proposed method.
- Abstract(参考訳): しかし、人間の視覚知覚が私たちの認知とどのように絡み合っているかという根本的なメカニズムは、まだ謎のままだ。
最近の神経科学と人工知能の進歩のおかげで、視覚誘発脳の活動を記録し、計算アプローチを通じて視覚知覚能力を模倣することができた。
本稿では,脳波,すなわち脳波データに基づいて観察された画像の再構成を行うことにより,視覚刺激の再建に注意を払う。
脳波信号は時系列形式で動的であり,ノイズの多いことで知られているため,有用な情報を処理し,抽出するためには,より専門的な作業が必要である。
具体的には、与えられた脳波データから複数の粒度の出力を引き出すために、新しいマルチレベル知覚情報デコーディングを組み込む。
遅延拡散モデルは抽出した情報を利用して高解像度の視覚刺激像を再構成する。
実験の結果, 画像再構成の有効性と, 提案手法の定量的評価が得られた。
関連論文リスト
- Reconstructing Visual Stimulus Images from EEG Signals Based on Deep
Visual Representation Model [5.483279087074447]
本稿では,脳波信号に基づく新しい画像再構成手法を提案する。
高速スイッチング方式で視覚刺激画像の高認識性を実現するため,視覚刺激画像データセットを構築した。
主エンコーダと従属デコーダからなる深部視覚表現モデル(DVRM)を提案し,視覚刺激を再構成する。
論文 参考訳(メタデータ) (2024-03-11T09:19:09Z) - BrainVis: Exploring the Bridge between Brain and Visual Signals via
Image Reconstruction [8.206564266319388]
脳波信号から視覚刺激を再構成するための新しい手法を提案する。
脳波信号に自己監督的アプローチを適用して脳波の時間領域特性を求める。
また,脳波の時間周波数埋め込みをCLIP空間の粗くきめ細かなセマンティクスと整合させる。
提案したBrainVisは,意味的忠実度復元と生成品質の両面で,芸術の状態を上回ります。
論文 参考訳(メタデータ) (2023-12-22T17:49:11Z) - Learning Robust Deep Visual Representations from EEG Brain Recordings [13.768240137063428]
本研究は,脳波に基づく深部表現の頑健な学習を行うための2段階の手法を提案する。
ディープラーニングアーキテクチャを用いて,3つのデータセットにまたがる特徴抽出パイプラインの一般化性を実証する。
本稿では,未知の画像を脳波空間に変換し,近似を用いて再構成する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-10-25T10:26:07Z) - Decoding Realistic Images from Brain Activity with Contrastive
Self-supervision and Latent Diffusion [29.335943994256052]
ヒトの脳活動から視覚刺激を再構築することは、脳の視覚系を理解する上で有望な機会となる。
機能的磁気共鳴イメージング(fMRI)記録から現実的な画像をデコードする2相フレームワークContrast and Diffuse(CnD)を提案する。
論文 参考訳(メタデータ) (2023-09-30T09:15:22Z) - A Knowledge-Driven Cross-view Contrastive Learning for EEG
Representation [48.85731427874065]
本稿では,限られたラベルを持つ脳波から効果的な表現を抽出する知識駆動型クロスビューコントラスト学習フレームワーク(KDC2)を提案する。
KDC2法は脳波信号の頭皮と神経のビューを生成し、脳活動の内部および外部の表現をシミュレートする。
ニューラル情報整合性理論に基づく事前のニューラル知識をモデル化することにより、提案手法は不変かつ相補的なニューラル知識を抽出し、複合表現を生成する。
論文 参考訳(メタデータ) (2023-09-21T08:53:51Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳(メタデータ) (2023-05-19T09:57:19Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳(メタデータ) (2023-05-17T11:36:40Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。
本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
論文 参考訳(メタデータ) (2022-10-27T22:20:36Z) - Adapting Brain-Like Neural Networks for Modeling Cortical Visual
Prostheses [68.96380145211093]
皮質補綴は視覚野に移植された装置で、電気的にニューロンを刺激することで失った視力を回復しようとする。
現在、これらのデバイスが提供する視覚は限られており、刺激による視覚知覚を正確に予測することはオープンな課題である。
我々は、視覚システムの有望なモデルとして登場した「脳様」畳み込みニューラルネットワーク(CNN)を活用することで、この問題に対処することを提案する。
論文 参考訳(メタデータ) (2022-09-27T17:33:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。