論文の概要: NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation

• arxiv url: http://arxiv.org/abs/2403.18211v2
• Date: Thu, 18 Jul 2024 03:22:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 21:01:57.116674
• Title: NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation
• Title（参考訳）: NeuroPictor:マルチ個別事前トレーニングとマルチレベル変調によるfMRI画像再構成
• Authors: Jingyang Huo, Yikai Wang, Xuelin Qian, Yun Wang, Chong Li, Jianfeng Feng, Yanwei Fu,
• Abstract要約: 本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
• 参考スコア（独自算出の注目度）: 55.51412454263856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent fMRI-to-image approaches mainly focused on associating fMRI signals with specific conditions of pre-trained diffusion models. These approaches, while producing high-quality images, capture only a limited aspect of the complex information in fMRI signals and offer little detailed control over image creation. In contrast, this paper proposes to directly modulate the generation process of diffusion models using fMRI signals. Our approach, NeuroPictor, divides the fMRI-to-image process into three steps: i) fMRI calibrated-encoding, to tackle multi-individual pre-training for a shared latent space to minimize individual difference and enable the subsequent multi-subject training; ii) fMRI-to-image multi-subject pre-training, perceptually learning to guide diffusion model with high- and low-level conditions across different individuals; iii) fMRI-to-image single-subject refining, similar with step ii but focus on adapting to particular individual. NeuroPictor extracts high-level semantic features from fMRI signals that characterizing the visual stimulus and incrementally fine-tunes the diffusion model with a low-level manipulation network to provide precise structural instructions. By training with about 67,000 fMRI-image pairs from various individuals, our model enjoys superior fMRI-to-image decoding capacity, particularly in the within-subject setting, as evidenced in benchmark datasets. Our code and model are available at https://jingyanghuo.github.io/neuropictor/.
• Abstract（参考訳）: 最近のfMRI-to-imageアプローチは、主に、訓練済み拡散モデルの特定の条件とfMRI信号を関連付けることに焦点を当てている。 これらのアプローチは、高品質な画像を生成する一方で、fMRI信号の複雑な情報の限られた側面のみを捉え、画像生成の詳細な制御はほとんど提供しない。 一方,本研究では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 われわれのアプローチであるNeuroPictorは、fMRI-to-imageプロセスを3段階に分けている。 一 個人差を最小限に抑え、かつ、その後の多目的訓練を可能にするために、共有潜在空間の多種個別事前訓練に取り組むためのfMRI校正符号化 二 fMRI-to-image Multi-ject pre-training, perceptually learning to guide diffusion model with high-level conditions across different individuals。 三 fMRI-to-image single-subject refining ステップ ii と同様、特定の個人に適応することに焦点を当てる。 NeuroPictorは、視覚刺激を特徴付けるfMRI信号から高レベルの意味的特徴を抽出し、低レベルの操作ネットワークで拡散モデルをインクリメンタルに微調整し、正確な構造指示を提供する。 様々な個人から約67,000 fMRI-imageペアをトレーニングすることにより、ベンチマークデータセットに示されているような、特にオブジェクト内設定において、より優れたfMRI-image decoding能力が得られる。 私たちのコードとモデルはhttps://jingyanghuo.github.io/neuropictor/で公開されています。

関連論文リスト

• MindFormer: A Transformer Architecture for Multi-Subject Brain Decoding via fMRI [50.55024115943266]
  我々は、fMRI条件の特徴ベクトルを生成するためにMindFormerと呼ばれる新しいトランスフォーマーアーキテクチャを導入する。 MindFormerは,1)fMRI信号から意味論的に意味のある特徴を抽出するIP-Adapterに基づく新しいトレーニング戦略,2)fMRI信号の個人差を効果的に捉える主観的トークンと線形層である。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation [5.662694302758443]
  マルチシーケンスMRI(Multi-sequence magnetic resonance imaging)は、現代の臨床研究とディープラーニング研究の両方に広く応用されている。 画像取得プロトコルの違いや、患者のコントラスト剤の禁忌が原因で、MRIの1つ以上の配列が欠落することがしばしば起こる。 1つの有望なアプローチは、生成モデルを利用して欠落したシーケンスを合成することであり、これはサロゲート獲得の役割を果たす。
  論文  参考訳（メタデータ） (2023-09-06T19:01:58Z)
• Explainable unsupervised multi-modal image registration using deep networks [2.197364252030876]
  MRI画像登録は、異なるモダリティ、時間点、スライスから幾何学的に「ペア」診断することを目的としている。 本研究では,我々のDLモデルが完全に説明可能であることを示し,さらなる医用画像データへのアプローチを一般化するための枠組みを構築した。
  論文  参考訳（メタデータ） (2023-08-03T19:13:48Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• On Sensitivity and Robustness of Normalization Schemes to Input Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
  深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。 DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。 本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
  論文  参考訳（メタデータ） (2023-06-23T03:09:03Z)
• Federated Learning of Generative Image Priors for MRI Reconstruction [5.3963856146595095]
  マルチインスティカルな取り組みは、画像データのクロスサイト共有中にプライバシー上のリスクが発生するにもかかわらず、ディープMRI再構成モデルのトレーニングを容易にする。 FedGIMP (FedGIMP) を用いた新しいMRI再構成法を提案する。 FedGIMPは、2段階のアプローチを利用する: 生成MRIのクロスサイト学習と、イメージングオペレーターの主題固有の注入である。
  論文  参考訳（メタデータ） (2022-02-08T22:17:57Z)
• Interpretability Aware Model Training to Improve Robustness against Out-of-Distribution Magnetic Resonance Images in Alzheimer's Disease Classification [8.050897403457995]
  異なるMRIハードウェアから派生した分布外サンプルに対するロバスト性を改善するために,解釈可能性を考慮した対向訓練システムを提案する。 本報告では, 分布外のサンプルに対して有望な性能を示す予備的な結果を示す。
  論文  参考訳（メタデータ） (2021-11-15T04:42:47Z)
• Multifold Acceleration of Diffusion MRI via Slice-Interleaved Diffusion Encoding (SIDE) [50.65891535040752]
  本稿では,Slice-Interleaved Diffusionと呼ばれる拡散符号化方式を提案する。 SIDEは、拡散重み付き(DW)画像ボリュームを異なる拡散勾配で符号化したスライスでインターリーブする。 また,高いスライスアンサンプデータからDW画像を効果的に再構成するためのディープラーニングに基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-02-25T14:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。