論文の概要: FreqSelect: Frequency-Aware fMRI-to-Image Reconstruction

• arxiv url: http://arxiv.org/abs/2505.12552v1
• Date: Sun, 18 May 2025 21:45:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.304372
• Title: FreqSelect: Frequency-Aware fMRI-to-Image Reconstruction
• Title（参考訳）: FreqSelect:周波数対応fMRI画像再構成
• Authors: Junliang Ye, Lei Wang, Md Zakir Hossain,
• Abstract要約: FreqSelectは軽量で適応的なモジュールで、符号化する前に空間周波数帯域を選択的にフィルタリングする。 低レベルのメトリクスと高レベルのメトリクスの両方にわたって、再構築品質を継続的に改善します。 本手法は主題や場面にまたがって一般化し,他のモダリティへの拡張を約束する。
• 参考スコア（独自算出の注目度）: 2.243222037947621
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing natural images from functional magnetic resonance imaging (fMRI) data remains a core challenge in natural decoding due to the mismatch between the richness of visual stimuli and the noisy, low resolution nature of fMRI signals. While recent two-stage models, combining deep variational autoencoders (VAEs) with diffusion models, have advanced this task, they treat all spatial-frequency components of the input equally. This uniform treatment forces the model to extract meaning features and suppress irrelevant noise simultaneously, limiting its effectiveness. We introduce FreqSelect, a lightweight, adaptive module that selectively filters spatial-frequency bands before encoding. By dynamically emphasizing frequencies that are most predictive of brain activity and suppressing those that are uninformative, FreqSelect acts as a content-aware gate between image features and natural data. It integrates seamlessly into standard very deep VAE-diffusion pipelines and requires no additional supervision. Evaluated on the Natural Scenes dataset, FreqSelect consistently improves reconstruction quality across both low- and high-level metrics. Beyond performance gains, the learned frequency-selection patterns offer interpretable insights into how different visual frequencies are represented in the brain. Our method generalizes across subjects and scenes, and holds promise for extension to other neuroimaging modalities, offering a principled approach to enhancing both decoding accuracy and neuroscientific interpretability.
• Abstract（参考訳）: 機能的磁気共鳴画像(fMRI)データから自然像を再構成することは、視覚刺激の豊かさとfMRI信号のノイズ、低分解能性とのミスマッチにより、自然な復号化において重要な課題である。 最近の2段階モデルでは、深部変分オートエンコーダ(VAE)と拡散モデルを組み合わせてこの作業を進めたが、入力のすべての空間周波数成分を等しく扱う。 この一様処理により、モデルは意味的特徴を抽出し、無関係なノイズを同時に抑制し、その効果を制限できる。 本稿では、符号化前に空間周波数帯域を選択的にフィルタリングする軽量適応モジュールFreqSelectを紹介する。 脳の活動を予測する頻度を動的に強調し、非形式的な周波数を抑えることで、FreqSelectは画像の特徴と自然データの間のコンテンツ認識ゲートとして機能する。 非常に深いVAE拡散パイプラインにシームレスに統合され、追加の監視を必要としない。 Natural Scenesデータセットに基づいて評価されたFreqSelectは、低レベルのメトリクスと高レベルのメトリクスの両方にわたる再構築品質を一貫して改善する。 パフォーマンス向上以外にも、学習された周波数選択パターンは、脳内の異なる視覚周波数がどのように表現されるかに関する解釈可能な洞察を提供する。 本手法は,被験者や場面にまたがって一般化し,他の神経画像モダリティへの拡張を約束し,復号精度と神経科学的解釈性の両方を向上させるための原則的アプローチを提供する。

関連論文リスト

• Cross-Frequency Implicit Neural Representation with Self-Evolving Parameters [52.574661274784916]
  Inlicit Neural representation (INR) は視覚データ表現の強力なパラダイムとして登場した。 本研究では,データを4つの周波数成分に分離し,ウェーブレット空間でINRを用いるHaar Wavelet変換(CF-INR)を用いた自己進化型クロス周波数INRを提案する。 CF-INRは画像の回帰, 塗装, 装飾, 雲の除去など, 様々な視覚的データ表現および回復タスクで評価される。
  論文  参考訳（メタデータ） (2025-04-15T07:14:35Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
  本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。 様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
  論文  参考訳（メタデータ） (2024-03-27T02:42:52Z)
• CoNeS: Conditional neural fields with shift modulation for multi-sequence MRI translation [5.662694302758443]
  マルチシーケンスMRI(Multi-sequence magnetic resonance imaging)は、現代の臨床研究とディープラーニング研究の両方に広く応用されている。 画像取得プロトコルの違いや、患者のコントラスト剤の禁忌が原因で、MRIの1つ以上の配列が欠落することがしばしば起こる。 1つの有望なアプローチは、生成モデルを利用して欠落したシーケンスを合成することであり、これはサロゲート獲得の役割を果たす。
  論文  参考訳（メタデータ） (2023-09-06T19:01:58Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Negligible effect of brain MRI data preprocessing for tumor segmentation [36.89606202543839]
  我々は3つの公開データセットの実験を行い、ディープニューラルネットワークにおける異なる前処理ステップの効果を評価する。 その結果、最も一般的な標準化手順は、ネットワーク性能に何の価値も与えないことが示されている。 画像の規格化に伴う信号分散の低減のため,画像強度正規化手法はモデル精度に寄与しない。
  論文  参考訳（メタデータ） (2022-04-11T17:29:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。