論文の概要: Optimized two-stage AI-based Neural Decoding for Enhanced Visual Stimulus Reconstruction from fMRI Data

• arxiv url: http://arxiv.org/abs/2412.13237v1
• Date: Tue, 17 Dec 2024 16:42:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:48:30.633972
• Title: Optimized two-stage AI-based Neural Decoding for Enhanced Visual Stimulus Reconstruction from fMRI Data
• Title（参考訳）: fMRIデータを用いた視覚刺激再構成のための2段階AIベースニューラルデコード最適化
• Authors: Lorenzo Veronese, Andrea Moglia, Luca Mainardi, Pietro Cerveri,
• Abstract要約: 本研究は、fMRI遅延空間表現を改善するための非線形ディープネットワークを提案し、次元性も同様に最適化する。 Natural Scenesデータセットの実験により、提案されたアーキテクチャは、最先端のモデルに関して、再構成された画像の構造的類似性を約2%改善した。 LDMのノイズ感度解析により,第1ステージの役割は,高い構造的類似性を有する刺激を予測するのに基本的であることが示された。
• 参考スコア（独自算出の注目度）: 2.0851013563386247
• License:
• Abstract: AI-based neural decoding reconstructs visual perception by leveraging generative models to map brain activity, measured through functional MRI (fMRI), into latent hierarchical representations. Traditionally, ridge linear models transform fMRI into a latent space, which is then decoded using latent diffusion models (LDM) via a pre-trained variational autoencoder (VAE). Due to the complexity and noisiness of fMRI data, newer approaches split the reconstruction into two sequential steps, the first one providing a rough visual approximation, the second on improving the stimulus prediction via LDM endowed by CLIP embeddings. This work proposes a non-linear deep network to improve fMRI latent space representation, optimizing the dimensionality alike. Experiments on the Natural Scenes Dataset showed that the proposed architecture improved the structural similarity of the reconstructed image by about 2\% with respect to the state-of-the-art model, based on ridge linear transform. The reconstructed image's semantics improved by about 4\%, measured by perceptual similarity, with respect to the state-of-the-art. The noise sensitivity analysis of the LDM showed that the role of the first stage was fundamental to predict the stimulus featuring high structural similarity. Conversely, providing a large noise stimulus affected less the semantics of the predicted stimulus, while the structural similarity between the ground truth and predicted stimulus was very poor. The findings underscore the importance of leveraging non-linear relationships between BOLD signal and the latent representation and two-stage generative AI for optimizing the fidelity of reconstructed visual stimuli from noisy fMRI data.
• Abstract（参考訳）: AIベースのニューラルデコーディングは、生成モデルを利用して、機能的MRI(fMRI)を通して測定された脳活動を潜在階層的表現にマッピングすることで、視覚的知覚を再構築する。 伝統的に、リッジ線形モデルはfMRIを潜時空間に変換し、事前訓練された変分オートエンコーダ(VAE)を介して潜時拡散モデル(LDM)を用いて復号する。 fMRIデータの複雑さとノイズのため、新しいアプローチでは、再構成を2つの逐次的なステップに分割し、第1に、粗い視覚近似を提供し、第2に、CLIP埋め込みによるLCMによる刺激予測を改善する。 本研究は、fMRI遅延空間表現を改善するための非線形ディープネットワークを提案し、次元性も同様に最適化する。 自然シーンデータセットの実験により, 提案した構造は, リッジ線形変換に基づく最先端モデルに対して, 復元画像の構造的類似性を約2.5%改善した。 再構成画像のセマンティクスは, 知覚的類似性によって測定され, 約4\%向上した。 LDMのノイズ感度解析により,第1ステージの役割は,高い構造的類似性を有する刺激を予測するのに基本的であることが示された。 逆に、大きなノイズ刺激を与えることは、予測された刺激のセマンティクスを低下させる一方、地上の真実と予測された刺激との構造的類似性は非常に低かった。 この結果から, BOLD信号と潜時表現と2段階生成AIの非線形関係を活用することが, fMRIデータから再構成された視覚刺激の忠実度を最適化することの重要性が示唆された。

関連論文リスト

• ContextMRI: Enhancing Compressed Sensing MRI through Metadata Conditioning [51.26601171361753]
  本稿では, 微細なメタデータを再構成プロセスに統合したMRI用テキスト条件拡散モデルであるContextMRIを提案する。 メタデータの忠実度はスライス位置やコントラストから患者年齢、性別、病理まで増加し、体系的に再構築性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-01-08T05:15:43Z)
• Deep Cardiac MRI Reconstruction with ADMM [7.694990352622926]
  心臓画像の分野では, 深層学習(DL)を用いたシネ・マルチコントラスト再建法を提案する。 提案手法は画像領域とk空間領域の両方を最適化し,高い再構成精度を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:46:11Z)
• Fill the K-Space and Refine the Image: Prompting for Dynamic and Multi-Contrast MRI Reconstruction [31.404228406642194]
  ダイナミックまたはマルチコントラスト磁気共鳴画像(MRI)再構成の鍵は、フレーム間またはコントラスト間情報を探索することにある。 本稿では,これらの制約に対処する2段階MRI再構成パイプラインを提案する。 提案手法は,従来の高速MRI再建法より有意に優れていた。
  論文  参考訳（メタデータ） (2023-09-25T02:51:00Z)
• MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [7.597218661195779]
  我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。 ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。 ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
  論文  参考訳（メタデータ） (2023-08-08T13:28:34Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• Optimization-Based Deep learning methods for Magnetic Resonance Imaging Reconstruction and Synthesis [0.0]
  この論文は、高度な非滑らかな変動モデル(Magnetic Resonance Image)MRI再構成、効率的な学習可能な画像再構成アルゴリズム、およびMRI再構成と合成のためのディープラーニング方法を提供することを目的としている。 第1部では、変動モデルのための近位勾配降下にインスパイアされたアーキテクチャを備えた、新規なディープニューラルネットワークを紹介している。 第2部は、離散時間最適フレームワークにおけるキャリブレーションフリー高速pMRI再構成問題を解くことにより、第1部における予備作業の実質的な拡張である。 第3部は、メタラーニングフレームワークにおいて、一般化可能な磁気共鳴イメージング(MRI)再構成法を開発することを目的としている。
  論文  参考訳（メタデータ） (2023-03-02T18:59:44Z)
• Model-Guided Multi-Contrast Deep Unfolding Network for MRI Super-resolution Reconstruction [68.80715727288514]
  MRI観察行列を用いて,反復型MGDUNアルゴリズムを新しいモデル誘導深部展開ネットワークに展開する方法を示す。 本稿では,医療画像SR再構成のためのモデルガイド型解釈可能なDeep Unfolding Network(MGDUN)を提案する。
  論文  参考訳（メタデータ） (2022-09-15T03:58:30Z)
• PUERT: Probabilistic Under-sampling and Explicable Reconstruction Network for CS-MRI [47.24613772568027]
  圧縮センシングMRI(Compressed Sensing MRI)は,k空間データをサンプリングし,MRI画像の高速化を目的とする。 本稿では,サンプリングパターンと再構成ネットワークを協調的に最適化するために,PUERTと呼ばれる新しいエンドツーエンドの確率的アンダーサンプリングと明示的再構成neTworkを提案する。 2つの広く利用されているMRIデータセットの実験により、提案したPUERTは、定量的な測定値と視覚的品質の両方の観点から、最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-04-24T04:23:57Z)
• A Long Short-term Memory Based Recurrent Neural Network for Interventional MRI Reconstruction [50.1787181309337]
  本稿では,畳み込み長短期記憶(Conv-LSTM)に基づくリカレントニューラルネットワーク(Recurrent Neural Network, RNN)を提案する。 提案アルゴリズムは,DBSのリアルタイムi-MRIを実現する可能性があり,汎用的なMR誘導介入に使用できる。
  論文  参考訳（メタデータ） (2022-03-28T14:03:45Z)
• Data-driven generation of plausible tissue geometries for realistic photoacoustic image synthesis [53.65837038435433]
  光音響トモグラフィ(pat)は形態的および機能的組織特性を回復する可能性がある。 我々は,PATデータシミュレーションの新たなアプローチを提案し,これを「シミュレーションの学習」と呼ぶ。 我々は、意味的注釈付き医療画像データに基づいて訓練されたGAN(Generative Adversarial Networks)の概念を活用して、可塑性組織ジオメトリを生成する。
  論文  参考訳（メタデータ） (2021-03-29T11:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。