論文の概要: NeuralDiffuser: Controllable fMRI Reconstruction with Primary Visual
Feature Guided Diffusion
- arxiv url: http://arxiv.org/abs/2402.13809v2
- Date: Sat, 2 Mar 2024 05:17:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 19:45:34.592284
- Title: NeuralDiffuser: Controllable fMRI Reconstruction with Primary Visual
Feature Guided Diffusion
- Title（参考訳）: Neural Diffuser:一次視像誘導拡散を用いた制御可能なfMRI再構成
- Authors: Haoyu Li, Hao Wu, Badong Chen
- Abstract要約: 潜在拡散モデル(LDM)に基づくfMRIからの視覚刺激の再構成は、脳のきめ細かい検索を可能にする。
グラデーションの形で詳細な手がかりを提供するために,主視覚的特徴ガイダンスを導入したNeuralDiffuserを提案する。
また, 様々な結果ではなく, 繰り返し再建の整合性を確保するための新たなガイダンス戦略も開発した。
- 参考スコア（独自算出の注目度）: 29.207684784599348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing visual stimuli from functional Magnetic Resonance Imaging
(fMRI) based on Latent Diffusion Models (LDM) provides a fine-grained retrieval
of the brain. A challenge persists in reconstructing a cohesive alignment of
details (such as structure, background, texture, color, etc.). Moreover, LDMs
would generate different image results even under the same conditions. For
these, we first uncover the neuroscientific perspective of LDM-based methods
that is top-down creation based on pre-trained knowledge from massive images
but lack of detail-driven bottom-up perception resulting in unfaithful details.
We propose NeuralDiffuser which introduces primary visual feature guidance to
provide detail cues in the form of gradients, extending the bottom-up process
for LDM-based methods to achieve faithful semantics and details. We also
developed a novel guidance strategy to ensure the consistency of repeated
reconstructions rather than a variety of results. We obtain the
state-of-the-art performance of NeuralDiffuser on the Natural Senses Dataset
(NSD), which offers more faithful details and consistent results.
- Abstract（参考訳）: 潜在拡散モデル(LDM)に基づく機能的磁気共鳴イメージング(fMRI)による視覚刺激の再構成は、脳のきめ細かい検索を可能にする。
課題は、詳細(構造、背景、テクスチャ、色など)の凝集的なアラインメントを再構築することにある。
さらに、LDMは同じ条件下でも異なる画像結果を生成する。
そこで我々はまず,大量の画像から事前学習した知識に基づいてトップダウン生成を行うLCMベースの手法の神経科学的視点を明らかにする。
本稿では,LDMに基づく手法のボトムアッププロセスを拡張し,忠実なセマンティクスと詳細を実現するための視覚的特徴ガイダンスを提案する。
また, 様々な結果よりも, 繰り返し再現の一貫性を確保するための新しい指導戦略を開発した。
我々は,Nano Senses Dataset (NSD) におけるNeuralDiffuserの最先端性能を取得し,より忠実な詳細と一貫した結果を提供する。
関連論文リスト
- Brain-Streams: fMRI-to-Image Reconstruction with Multi-modal Guidance [3.74142789780782]
現代のLCDは、構造的かつ意味論的に妥当な画像生成のためのマルチモーダルガイダンスをいかに取り入れているかを示す。
Brain-StreamsはfMRI信号を脳の領域から適切な埋め込みにマッピングする。
我々は,実fMRIデータセットを用いて,Brain-Streamsの定量的および定性的に再構成能力を検証する。
論文 参考訳（メタデータ） (2024-09-18T16:19:57Z) - One-step Generative Diffusion for Realistic Extreme Image Rescaling [47.89362819768323]
極端画像再スケーリングのためのワンステップイメージ再スケーリング拡散(OSIRDiff)と呼ばれる新しいフレームワークを提案する。
OSIRDiffは、事前訓練されたオートエンコーダの潜在空間で再スケーリング操作を実行する。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルによって学習された強力な自然画像の先行を効果的に活用する。
論文 参考訳（メタデータ） (2024-08-17T09:51:42Z) - Diffusion Priors for Dynamic View Synthesis from Monocular Videos [59.42406064983643]
ダイナミックノベルビュー合成は、ビデオ内の視覚的コンテンツの時間的進化を捉えることを目的としている。
まず、ビデオフレーム上に予め訓練されたRGB-D拡散モデルをカスタマイズ手法を用いて微調整する。
動的および静的なニューラルレイディアンス場を含む4次元表現に、微調整されたモデルから知識を蒸留する。
論文 参考訳（メタデータ） (2024-01-10T23:26:41Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。
様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
論文 参考訳（メタデータ） (2023-08-28T08:47:06Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion
Model from Human Brain Activity [2.666777614876322]
人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。
我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。
UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
論文 参考訳（メタデータ） (2023-08-14T19:49:29Z) - MindDiffuser: Controlled Image Reconstruction from Human Brain Activity
with Semantic and Structural Diffusion [7.597218661195779]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。
ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。
ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
論文 参考訳（メタデータ） (2023-08-08T13:28:34Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳（メタデータ） (2023-05-17T11:36:40Z) - MindDiffuser: Controlled Image Reconstruction from Human Brain Activity
with Semantic and Structural Diffusion [8.299415606889024]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。
ステージ1では、fMRIからデコードされたVQ-VAE潜在表現とCLIPテキスト埋め込みが、安定拡散のイメージ・ツー・イメージのプロセスに置かれる。
ステージ2では、fMRIからデコードされた低レベルCLIP視覚特徴を監視情報として利用する。
論文 参考訳（メタデータ） (2023-03-24T16:41:42Z) - Natural scene reconstruction from fMRI signals using generative latent
diffusion [1.90365714903665]
我々はBrain-Diffuserと呼ばれる2段階のシーン再構築フレームワークを提示する。
第1段階では、VDVAE(Very Deep Vari Autoencoder)モデルを用いて、低レベル特性と全体レイアウトをキャプチャする画像を再構成する。
第2段階では、予測されたマルチモーダル(テキストおよび視覚)特徴に基づいて、遅延拡散モデルのイメージ・ツー・イメージ・フレームワークを使用する。
論文 参考訳（メタデータ） (2023-03-09T15:24:26Z) - Multi-institutional Collaborations for Improving Deep Learning-based
Magnetic Resonance Image Reconstruction Using Federated Learning [62.17532253489087]
深層学習法はmr画像再構成において優れた性能をもたらすことが示されている。
これらの方法は、高い取得コストと医療データプライバシー規制のために収集および共有が困難である大量のデータを必要とします。
我々は,異なる施設で利用可能なmrデータを活用し,患者のプライバシーを保ちながら,連合学習(fl)ベースのソリューションを提案する。
論文 参考訳（メタデータ） (2021-03-03T03:04:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。