論文の概要: Natural Image Reconstruction from fMRI using Deep Learning: A Survey
- arxiv url: http://arxiv.org/abs/2110.09006v1
- Date: Mon, 18 Oct 2021 04:05:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:11:21.062685
- Title: Natural Image Reconstruction from fMRI using Deep Learning: A Survey
- Title(参考訳): ディープラーニングを用いたfMRIからの自然画像再構成
- Authors: Zarina Rakhimberdina, Quentin Jodelet, Xin Liu, Tsuyoshi Murata
- Abstract要約: 我々は、fMRIによる自然画像再構成のための最新のディープラーニング手法について調査する。
本稿では,これらの手法をアーキテクチャ設計,ベンチマークデータセット,評価指標の観点から検討する。
本稿では,既存研究の強みと限界,今後の方向性について論じる。
- 参考スコア(独自算出の注目度): 5.821090056678976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advent of brain imaging techniques and machine learning tools, much
effort has been devoted to building computational models to capture the
encoding of visual information in the human brain. One of the most challenging
brain decoding tasks is the accurate reconstruction of the perceived natural
images from brain activities measured by functional magnetic resonance imaging
(fMRI). In this work, we survey the most recent deep learning methods for
natural image reconstruction from fMRI. We examine these methods in terms of
architectural design, benchmark datasets, and evaluation metrics and present a
fair performance evaluation across standardized evaluation metrics. Finally, we
discuss the strengths and limitations of existing studies and present potential
future directions.
- Abstract(参考訳): 脳イメージング技術や機械学習ツールの出現により、人間の脳における視覚情報のエンコーディングを捉える計算モデルの構築に多くの努力が費やされてきた。
最も難しい課題の1つは、機能的磁気共鳴画像(fmri)による脳活動から知覚される自然画像の正確な再構成である。
本研究では,fMRIによる自然画像再構成のための最新の深層学習手法について検討する。
これらの手法をアーキテクチャ設計、ベンチマークデータセット、評価メトリクスの観点から検討し、標準化された評価メトリクスにまたがって公正な性能評価を行う。
最後に,既存研究の強みと限界,今後の方向性について考察する。
関連論文リスト
- fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion
Model from Human Brain Activity [2.666777614876322]
人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。
我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。
UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
論文 参考訳(メタデータ) (2023-08-14T19:49:29Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳(メタデータ) (2023-05-19T09:57:19Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳(メタデータ) (2023-05-17T11:36:40Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。
単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。
脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
論文 参考訳(メタデータ) (2022-09-30T06:32:46Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-19T09:43:19Z) - Facial Image Reconstruction from Functional Magnetic Resonance Imaging
via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。
提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
論文 参考訳(メタデータ) (2022-07-03T11:18:35Z) - More than meets the eye: Self-supervised depth reconstruction from brain
activity [16.269923100433232]
観測された2次元自然画像の高密度3次元深度マップは、fMRI脳波記録から直接復元可能であることを示す。
自然画像の未知の深度マップを推定するために,オフ・ザ・シェルフ法を用いる。
推定深度マップは、fMRIから直接深度再構成を訓練するための補助的再構成基準として使用される。
論文 参考訳(メタデータ) (2021-06-09T14:46:09Z) - Multi-institutional Collaborations for Improving Deep Learning-based
Magnetic Resonance Image Reconstruction Using Federated Learning [62.17532253489087]
深層学習法はmr画像再構成において優れた性能をもたらすことが示されている。
これらの方法は、高い取得コストと医療データプライバシー規制のために収集および共有が困難である大量のデータを必要とします。
我々は,異なる施設で利用可能なmrデータを活用し,患者のプライバシーを保ちながら,連合学習(fl)ベースのソリューションを提案する。
論文 参考訳(メタデータ) (2021-03-03T03:04:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。