Fugu-MT 論文翻訳(概要): Reconstructing the Mind's Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors

論文の概要: Reconstructing the Mind's Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors

arxiv url: http://arxiv.org/abs/2305.18274v2
Date: Sat, 7 Oct 2023 12:32:15 GMT
ステータス: 処理完了
システム内更新日: 2023-10-13 11:52:59.962489
Title: Reconstructing the Mind's Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors
Title（参考訳）: 心の眼の再構築--コントラスト学習と拡散前兆を用いたfmriから画像への変換
Authors: Paul S. Scotti, Atmadeep Banerjee, Jimmie Goode, Stepan Shabalin, Alex Nguyen, Ethan Cohen, Aidan J. Dempster, Nathalie Verlinde, Elad Yundler, David Weisberg, Kenneth A. Norman, Tanishq Mathew Abraham
Abstract要約: MindEyeは、脳の活動から観察された画像を検索して再構成するための、fMRI-to-imageアプローチである。我々は,MindEyeが修復作業と検索作業の両方において最先端のパフォーマンスを達成することを示す。
参考スコア（独自算出の注目度）: 5.055354526753589
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present MindEye, a novel fMRI-to-image approach to retrieve and reconstruct viewed images from brain activity. Our model comprises two parallel submodules that are specialized for retrieval (using contrastive learning) and reconstruction (using a diffusion prior). MindEye can map fMRI brain activity to any high dimensional multimodal latent space, like CLIP image space, enabling image reconstruction using generative models that accept embeddings from this latent space. We comprehensively compare our approach with other existing methods, using both qualitative side-by-side comparisons and quantitative evaluations, and show that MindEye achieves state-of-the-art performance in both reconstruction and retrieval tasks. In particular, MindEye can retrieve the exact original image even among highly similar candidates indicating that its brain embeddings retain fine-grained image-specific information. This allows us to accurately retrieve images even from large-scale databases like LAION-5B. We demonstrate through ablations that MindEye's performance improvements over previous methods result from specialized submodules for retrieval and reconstruction, improved training techniques, and training models with orders of magnitude more parameters. Furthermore, we show that MindEye can better preserve low-level image features in the reconstructions by using img2img, with outputs from a separate autoencoder. All code is available on GitHub.
Abstract（参考訳）: 脳活動から視像を検索・再構成するための新しいfMRI-to-imageアプローチであるMindEyeを提案する。本モデルは,検索(コントラスト学習)と再構築(拡散前処理)に特化した2つの並列部分モジュールからなる。 mindeyeは、fmriの脳活動をクリップ画像空間のようなあらゆる高次元のマルチモーダル潜在空間にマッピングすることができ、この潜在空間からの埋め込みを受け入れる生成モデルを使って画像再構成を可能にする。提案手法と既存手法を総合的に比較し,定性的側面比較と定量的評価を併用し,MindEyeが復元作業と検索作業の両方において最先端のパフォーマンスを達成することを示す。特にMindEyeは、脳の埋め込みがきめ細かな画像特有の情報を保持していることを示す非常に類似した候補の中でも、正確な元の画像を取得することができる。これにより、LAION-5Bのような大規模データベースからでも正確に画像を取得することができる。我々は,mindeyeが従来の手法よりも性能が向上し,検索と再構築のための特別なサブモジュール,トレーニング技術の改善,パラメータの桁違いなトレーニングモデルなどが得られたことをアブレーションにより証明した。さらに,img2imgを別個のオートエンコーダから出力することで,MindEyeは再構成の低レベル画像の特徴を保存できることを示す。すべてのコードはGitHubで入手できる。

関連論文リスト

Brain-optimized inference improves reconstructions of fMRI brain activity [0.0]
我々は、推論中の脳活動と再構成の整合性を最適化することで、最近の復号法をさらに改善する可能性を評価する。基本復号法からシード再構成をサンプリングし,脳に最適化された符号化モデルを用いて繰り返し改良する。脳活動分布にデコードを明示的にアライメントすることで,再現性を大幅に向上できることを示す。
論文参考訳（メタデータ） (2023-12-12T20:08:59Z)
Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation [78.13793505707952]
既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-23T02:15:53Z)
Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文参考訳（メタデータ） (2023-05-19T09:57:19Z)
Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文参考訳（メタデータ） (2023-03-26T14:14:58Z)
BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文参考訳（メタデータ） (2023-02-25T03:28:54Z)
Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
論文参考訳（メタデータ） (2022-09-30T06:32:46Z)
Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文参考訳（メタデータ） (2022-09-19T09:43:19Z)
Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
論文参考訳（メタデータ） (2022-07-03T11:18:35Z)
Multiscale Voxel Based Decoding For Enhanced Natural Image Reconstruction From Brain Activity [0.22940141855172028]
本稿では,既存の画像復号化手法と画像復号化手法を融合した画像再構成手法を提案する。これは、クラス条件生成逆数ネットワークとニューラルスタイル転送を用いて、再構成された画像をデコードされた画像カテゴリに条件付けすることで達成される。提案手法は,再構成画像のセマンティックな類似性を向上し,画像再構成の一般的な枠組みとして利用できることを示す。
論文参考訳（メタデータ） (2022-05-27T18:09:07Z)
Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
画像再構成に有効な先行画像として, 奥行き画像が導入された。その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。計算課題に対処する2段階の学習パラダイムを開発する。
論文参考訳（メタデータ） (2021-11-23T15:08:26Z)
NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文参考訳（メタデータ） (2020-08-26T17:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。