論文の概要: Seeing the imagined: a latent functional alignment in visual imagery decoding from fMRI data

• arxiv url: http://arxiv.org/abs/2604.15374v1
• Date: Wed, 15 Apr 2026 16:31:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.565585
• Title: Seeing the imagined: a latent functional alignment in visual imagery decoding from fMRI data
• Title（参考訳）: fMRIデータからの視覚画像復号における潜在機能的アライメント
• Authors: Fabrizio Spera, Tommaso Boccato, Michal Olak, Sara Cammarota, Matteo Ciferri, Michelangelo Tronti, Nicola Toschi, Matteo Ferrante,
• Abstract要約: 本研究では,イメージライ-NSDベンチマークを用いて,現在最先端の認識デコーダを用いて,想像コンテンツを再構成する方法について検討する。 本稿では,画像誘発活動から事前学習したモデルの条件空間へマッピングする潜在機能アライメント手法を提案する。 一致した画像認識の監督を限定的に緩和するために,検索に基づく拡張戦略を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent progress in visual brain decoding from fMRI has been enabled by large-scale datasets such as the Natural Scenes Dataset (NSD) and powerful diffusion-based generative models. While current pipelines are primarily optimized for perception, their performance under mental-imagery remains less well understood. In this work, we study how a state-of-the-art (SOTA) perception decoder (DynaDiff) can be adapted to reconstruct imagined content from the Imagery-NSD benchmark. We propose a latent functional alignment approach that maps imagery-evoked activity into the pretrained model's conditioning space, while keeping the remaining components frozen. To mitigate the limited amount of matched imagery-perception supervision, we further introduce a retrieval-based augmentation strategy that selects semantically related NSD perception trials. Across four subjects, latent functional alignment consistently improves high-level semantic reconstruction metrics relative to the frozen pretrained baseline and a voxel-space ridge alignment baseline, and enables above-chance decoding from multiple cortical regions. These results suggest that semantic structure learned from perception can be leveraged to stabilize and improve visual imagery decoding under out-of-distribution conditions.
• Abstract（参考訳）: fMRIによる視覚脳のデコーディングの最近の進歩は、Natural Scenes Dataset(NSD)や強力な拡散ベース生成モデルのような大規模データセットによって実現されている。 現在のパイプラインは主に知覚に最適化されているが、メンタルイメージ下でのパフォーマンスはよく分かっていない。 そこで本研究では,イメージライ・NSDベンチマークを用いて,最新のSOTA認識デコーダ (DynaDiff) を用いて,想像コンテンツを再構成する方法について検討する。 そこで本研究では,画像に誘発される活動を事前学習したモデルの条件空間にマッピングし,残りのコンポーネントを凍結したままにしておく機能アライメント手法を提案する。 さらに,マッチングされた画像知覚の監督を限定的に緩和するために,意味論的に関連するNSD知覚試験を選択する検索ベースの拡張戦略を導入する。 4つの被験者にわたって、潜在機能的アライメントは、凍結した事前訓練されたベースラインとボクセル空間のリッジアライメントベースラインに対する高レベルなセマンティックアライメントの指標を一貫して改善し、複数の皮質領域からのオーバーチャンスデコーディングを可能にする。 これらの結果は,知覚から学習した意味構造を利用して,分布外条件下での視覚的画像復号の安定化と改善が可能であることを示唆している。

関連論文リスト

• Brain-Grasp: Graph-based Saliency Priors for Improved fMRI-based Visual Brain Decoding [1.130221069212388]
  脳誘導画像生成の最近の進歩は、fMRIによる再構成の品質を改善している。 本稿では,脳信号から空間マスクへ構造的手がかりを変換するために,グラフインフォームド・サリエンシを用いたサリエンシ駆動型デコーディングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-12T12:50:49Z)
• Low-Rank-Modulated Functa: Exploring the Latent Space of Implicit Neural Representations for Interpretable Ultrasound Video Analysis [0.9413864081589388]
  Inlicit Neural representations (INR) は連続的な画像表現学習のための強力なフレームワークとして登場した。 Functaベースのアプローチでは、各画像は、共有INRを条件付けし、強い再構成性能を実現する潜在変調ベクトルとして符号化される。 時間分解潜在空間における変調の低ランク適応を実現する新しいアーキテクチャであるLow-Rank-Modulated Functa (LRM-Functa)を提案する。
  論文  参考訳（メタデータ） (2026-03-26T22:46:27Z)
• V-Co: A Closer Look at Visual Representation Alignment via Co-Denoising [65.5867130156805]
  統合JTフレームワークにおける視覚的コデノゲーションの体系的研究であるV-Coについて述べる。 本研究は,視覚的コデノジングを効果的に行うための4つの重要な要素を明らかにする。 V-Coは、基礎となる画素空間拡散ベースラインと強い前の画素拡散法より優れている。
  論文  参考訳（メタデータ） (2026-03-17T17:01:54Z)
• Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
  我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。 MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
  論文  参考訳（メタデータ） (2025-10-25T15:40:07Z)
• Perception Activator: An intuitive and portable framework for brain cognitive exploration [19.851643249367108]
  干渉条件としてfMRI表現を用いる実験フレームワークを開発した。 オブジェクト検出とインスタンス分割タスクにおける下流性能と中間的特徴の変化をfMRI情報の有無で比較した。 以上の結果から,fMRIには多目的セマンティック・キューが豊富に含まれていることが証明された。
  論文  参考訳（メタデータ） (2025-07-03T04:46:48Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images [79.07468367923619]
  畳み込み型神経生成符号化(Conv-NGC)を開発した。 我々は、潜伏状態マップを段階的に洗練する柔軟な神経生物学的動機付けアルゴリズムを実装した。 本研究は,脳にインスパイアされたニューラル・システムによる再建と画像復調の課題に対する効果について検討する。
  論文  参考訳（メタデータ） (2022-11-22T06:42:41Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。