論文の概要: NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation
- arxiv url: http://arxiv.org/abs/2403.18211v2
- Date: Thu, 18 Jul 2024 03:22:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 21:01:57.116674
- Title: NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation
- Title（参考訳）: NeuroPictor:マルチ個別事前トレーニングとマルチレベル変調によるfMRI画像再構成
- Authors: Jingyang Huo, Yikai Wang, Xuelin Qian, Yun Wang, Chong Li, Jianfeng Feng, Yanwei Fu,
- Abstract要約: 本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
- 参考スコア（独自算出の注目度）: 55.51412454263856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent fMRI-to-image approaches mainly focused on associating fMRI signals with specific conditions of pre-trained diffusion models. These approaches, while producing high-quality images, capture only a limited aspect of the complex information in fMRI signals and offer little detailed control over image creation. In contrast, this paper proposes to directly modulate the generation process of diffusion models using fMRI signals. Our approach, NeuroPictor, divides the fMRI-to-image process into three steps: i) fMRI calibrated-encoding, to tackle multi-individual pre-training for a shared latent space to minimize individual difference and enable the subsequent multi-subject training; ii) fMRI-to-image multi-subject pre-training, perceptually learning to guide diffusion model with high- and low-level conditions across different individuals; iii) fMRI-to-image single-subject refining, similar with step ii but focus on adapting to particular individual. NeuroPictor extracts high-level semantic features from fMRI signals that characterizing the visual stimulus and incrementally fine-tunes the diffusion model with a low-level manipulation network to provide precise structural instructions. By training with about 67,000 fMRI-image pairs from various individuals, our model enjoys superior fMRI-to-image decoding capacity, particularly in the within-subject setting, as evidenced in benchmark datasets. Our code and model are available at https://jingyanghuo.github.io/neuropictor/.
- Abstract（参考訳）: 最近のfMRI-to-imageアプローチは、主に、訓練済み拡散モデルの特定の条件とfMRI信号を関連付けることに焦点を当てている。
これらのアプローチは、高品質な画像を生成する一方で、fMRI信号の複雑な情報の限られた側面のみを捉え、画像生成の詳細な制御はほとんど提供しない。
一方,本研究では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
われわれのアプローチであるNeuroPictorは、fMRI-to-imageプロセスを3段階に分けている。
一 個人差を最小限に抑え、かつ、その後の多目的訓練を可能にするために、共有潜在空間の多種個別事前訓練に取り組むためのfMRI校正符号化
二 fMRI-to-image Multi-ject pre-training, perceptually learning to guide diffusion model with high-level conditions across different individuals。
三 fMRI-to-image single-subject refining ステップ ii と同様、特定の個人に適応することに焦点を当てる。
NeuroPictorは、視覚刺激を特徴付けるfMRI信号から高レベルの意味的特徴を抽出し、低レベルの操作ネットワークで拡散モデルをインクリメンタルに微調整し、正確な構造指示を提供する。
様々な個人から約67,000 fMRI-imageペアをトレーニングすることにより、ベンチマークデータセットに示されているような、特にオブジェクト内設定において、より優れたfMRI-image decoding能力が得られる。
私たちのコードとモデルはhttps://jingyanghuo.github.io/neuropictor/で公開されています。
関連論文リスト
- A Unified Model for Compressed Sensing MRI Across Undersampling Patterns [69.19631302047569]
ディープニューラルネットワークは、アンダーサンプル計測から高忠実度画像を再構成する大きな可能性を示している。
我々のモデルは、離散化に依存しないアーキテクチャであるニューラル演算子に基づいている。
我々の推論速度は拡散法よりも1,400倍速い。
論文 参考訳（メタデータ） (2024-10-05T20:03:57Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation [5.662694302758443]
マルチシーケンスMRI(Multi-sequence magnetic resonance imaging)は、現代の臨床研究とディープラーニング研究の両方に広く応用されている。
画像取得プロトコルの違いや、患者のコントラスト剤の禁忌が原因で、MRIの1つ以上の配列が欠落することがしばしば起こる。
1つの有望なアプローチは、生成モデルを利用して欠落したシーケンスを合成することであり、これはサロゲート獲得の役割を果たす。
論文 参考訳（メタデータ） (2023-09-06T19:01:58Z) - Explainable unsupervised multi-modal image registration using deep
networks [2.197364252030876]
MRI画像登録は、異なるモダリティ、時間点、スライスから幾何学的に「ペア」診断することを目的としている。
本研究では,我々のDLモデルが完全に説明可能であることを示し,さらなる医用画像データへのアプローチを一般化するための枠組みを構築した。
論文 参考訳（メタデータ） (2023-08-03T19:13:48Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - On Sensitivity and Robustness of Normalization Schemes to Input
Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。
DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。
本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
論文 参考訳（メタデータ） (2023-06-23T03:09:03Z) - Federated Learning of Generative Image Priors for MRI Reconstruction [5.3963856146595095]
マルチインスティカルな取り組みは、画像データのクロスサイト共有中にプライバシー上のリスクが発生するにもかかわらず、ディープMRI再構成モデルのトレーニングを容易にする。
FedGIMP (FedGIMP) を用いた新しいMRI再構成法を提案する。
FedGIMPは、2段階のアプローチを利用する: 生成MRIのクロスサイト学習と、イメージングオペレーターの主題固有の注入である。
論文 参考訳（メタデータ） (2022-02-08T22:17:57Z) - Interpretability Aware Model Training to Improve Robustness against
Out-of-Distribution Magnetic Resonance Images in Alzheimer's Disease
Classification [8.050897403457995]
異なるMRIハードウェアから派生した分布外サンプルに対するロバスト性を改善するために,解釈可能性を考慮した対向訓練システムを提案する。
本報告では, 分布外のサンプルに対して有望な性能を示す予備的な結果を示す。
論文 参考訳（メタデータ） (2021-11-15T04:42:47Z) - Multifold Acceleration of Diffusion MRI via Slice-Interleaved Diffusion
Encoding (SIDE) [50.65891535040752]
本稿では,Slice-Interleaved Diffusionと呼ばれる拡散符号化方式を提案する。
SIDEは、拡散重み付き(DW)画像ボリュームを異なる拡散勾配で符号化したスライスでインターリーブする。
また,高いスライスアンサンプデータからDW画像を効果的に再構成するためのディープラーニングに基づく手法を提案する。
論文 参考訳（メタデータ） (2020-02-25T14:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。