論文の概要: NeuralDiffuser: Neuroscience-inspired Diffusion Guidance for fMRI Visual Reconstruction

• arxiv url: http://arxiv.org/abs/2402.13809v3
• Date: Wed, 08 Jan 2025 14:21:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:54:34.021322
• Title: NeuralDiffuser: Neuroscience-inspired Diffusion Guidance for fMRI Visual Reconstruction
• Title（参考訳）: NeuralDiffuser:fMRI画像再構成のための神経科学にインスパイアされた拡散誘導
• Authors: Haoyu Li, Hao Wu, Badong Chen,
• Abstract要約: 本稿では,主視覚的特徴指導を取り入れたNeuralDiffuserを提案し,勾配の形で詳細な手がかりを提供する。 拡散モデルにおけるボトムアッププロセスの拡張は、視覚刺激を再構成する際に意味的コヒーレンスと詳細忠実性の両方を達成する。
• 参考スコア（独自算出の注目度）: 25.987801733791986
• License:
• Abstract: Reconstructing visual stimuli from functional Magnetic Resonance Imaging fMRI enables fine-grained retrieval of brain activity. However, the accurate reconstruction of diverse details, including structure, background, texture, color, and more, remains challenging. The stable diffusion models inevitably result in the variability of reconstructed images, even under identical conditions. To address this challenge, we first uncover the neuroscientific perspective of diffusion methods, which primarily involve top-down creation using pre-trained knowledge from extensive image datasets, but tend to lack detail-driven bottom-up perception, leading to a loss of faithful details. In this paper, we propose NeuralDiffuser, which incorporates primary visual feature guidance to provide detailed cues in the form of gradients. This extension of the bottom-up process for diffusion models achieves both semantic coherence and detail fidelity when reconstructing visual stimuli. Furthermore, we have developed a novel guidance strategy for reconstruction tasks that ensures the consistency of repeated outputs with original images rather than with various outputs. Extensive experimental results on the Natural Senses Dataset (NSD) qualitatively and quantitatively demonstrate the advancement of NeuralDiffuser by comparing it against baseline and state-of-the-art methods horizontally, as well as conducting longitudinal ablation studies.
• Abstract（参考訳）: 機能的磁気共鳴イメージングfMRIによる視覚刺激の再構成は、脳活動のきめ細かい検索を可能にする。 しかし、構造、背景、テクスチャ、色など様々な細部を正確に再現することは依然として困難である。 安定拡散モデルは、同じ条件下であっても、再構成された画像の変動を必然的に引き起こす。 この課題に対処するために、我々はまず拡散法に関する神経科学的な視点を明らかにする。これは主に画像データセットから事前訓練された知識を用いてトップダウン生成するが、詳細駆動のボトムアップ知覚が欠如しており、忠実な詳細が失われる傾向がある。 本稿では,主観的特徴指導を取り入れたニューラルディフューザを提案し,勾配の形で詳細な手がかりを提供する。 拡散モデルにおけるボトムアッププロセスの拡張は、視覚刺激を再構成する際に意味的コヒーレンスと詳細忠実性の両方を達成する。 さらに, 様々な出力ではなく, 繰り返し出力と原画像との整合性を確保するための, 再構成タスクのための新しいガイダンス戦略を開発した。 The Natural Senses Dataset (NSD) の広範囲な実験結果は、ベースラインと最先端の手法を水平に比較することにより、NeuralDiffuserの進歩を質的かつ定量的に実証し、また経時的アブレーション研究を行った。

関連論文リスト

• Brain-Streams: fMRI-to-Image Reconstruction with Multi-modal Guidance [3.74142789780782]
  現代のLCDは、構造的かつ意味論的に妥当な画像生成のためのマルチモーダルガイダンスをいかに取り入れているかを示す。 Brain-StreamsはfMRI信号を脳の領域から適切な埋め込みにマッピングする。 我々は,実fMRIデータセットを用いて,Brain-Streamsの定量的および定性的に再構成能力を検証する。
  論文  参考訳（メタデータ） (2024-09-18T16:19:57Z)
• One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
  極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。 OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。 これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
  論文  参考訳（メタデータ） (2024-08-17T09:51:42Z)
• Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
  ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。 まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。 動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
  論文  参考訳（メタデータ） (2024-01-10T23:26:41Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Diffusion Models for Image Restoration and Enhancement -- A Comprehensive Survey [96.99328714941657]
  本稿では,近年の拡散モデルに基づく画像復元手法について概観する。 我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。 本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
  論文  参考訳（メタデータ） (2023-08-18T08:40:38Z)
• UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity [2.666777614876322]
  人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。 我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。 UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
  論文  参考訳（メタデータ） (2023-08-14T19:49:29Z)
• MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [7.597218661195779]
  我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。 ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。 ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
  論文  参考訳（メタデータ） (2023-08-08T13:28:34Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• MindDiffuser: Controlled Image Reconstruction from Human Brain Activity with Semantic and Structural Diffusion [8.299415606889024]
  我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。 ステージ1では、fMRIからデコードされたVQ-VAE潜在表現とCLIPテキスト埋め込みが、安定拡散のイメージ・ツー・イメージのプロセスに置かれる。 ステージ2では、fMRIからデコードされた低レベルCLIP視覚特徴を監視情報として利用する。
  論文  参考訳（メタデータ） (2023-03-24T16:41:42Z)
• Natural scene reconstruction from fMRI signals using generative latent diffusion [1.90365714903665]
  我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。 第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。 第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
  論文  参考訳（メタデータ） (2023-03-09T15:24:26Z)
• Multi-institutional Collaborations for Improving Deep Learning-based Magnetic Resonance Image Reconstruction Using Federated Learning [62.17532253489087]
  深層学習法はmr画像再構成において優れた性能をもたらすことが示されている。 これらの方法は、高い取得コストと医療データプライバシー規制のために収集および共有が困難である大量のデータを必要とします。 我々は,異なる施設で利用可能なmrデータを活用し,患者のプライバシーを保ちながら,連合学習(fl)ベースのソリューションを提案する。
  論文  参考訳（メタデータ） (2021-03-03T03:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。