論文の概要: Brain-Grasp: Graph-based Saliency Priors for Improved fMRI-based Visual Brain Decoding
- arxiv url: http://arxiv.org/abs/2604.10617v1
- Date: Sun, 12 Apr 2026 12:50:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.134161
- Title: Brain-Grasp: Graph-based Saliency Priors for Improved fMRI-based Visual Brain Decoding
- Title(参考訳): Brain-Grasp: 改良されたfMRIベースの視覚脳復号のためのグラフベースのサリエンシ優先
- Abstract要約: 脳誘導画像生成の最近の進歩は、fMRIによる再構成の品質を改善している。
本稿では,脳信号から空間マスクへ構造的手がかりを変換するために,グラフインフォームド・サリエンシを用いたサリエンシ駆動型デコーディングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 1.130221069212388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in brain-guided image generation has improved the quality of fMRI-based reconstructions; however, fundamental challenges remain in preserving object-level structure and semantic fidelity. Many existing approaches overlook the spatial arrangement of salient objects, leading to conceptually inconsistent outputs. We propose a saliency-driven decoding framework that employs graph-informed saliency priors to translate structural cues from brain signals into spatial masks. These masks, together with semantic information extracted from embeddings, condition a diffusion model to guide image regeneration, helping preserve object conformity while maintaining natural scene composition. In contrast to pipelines that invoke multiple diffusion stages, our approach relies on a single frozen model, offering a more lightweight yet effective design. Experiments show that this strategy improves both conceptual alignment and structural similarity to the original stimuli, while also introducing a new direction for efficient, interpretable, and structurally grounded brain decoding.
- Abstract(参考訳): 脳誘導画像生成の最近の進歩は、fMRIによる再構成の質を向上させるが、しかしながら、オブジェクトレベルの構造と意味的忠実性を維持することには、根本的な課題が残っている。
既存の多くのアプローチは、有向物体の空間的配置を見落とし、概念的に矛盾する出力をもたらす。
本稿では,脳信号から空間マスクへ構造的手がかりを変換するために,グラフインフォームド・サリエンシを用いたサリエンシ駆動型デコーディングフレームワークを提案する。
これらのマスクは、埋め込みから抽出した意味情報とともに、拡散モデルを用いて画像再生を誘導し、自然なシーン構成を維持しながらオブジェクトの整合性を維持する。
複数の拡散ステージを起動するパイプラインとは対照的に、我々のアプローチは単一の凍結モデルに依存しており、より軽量で効果的な設計を提供する。
実験により、この戦略は元の刺激と概念的アライメントと構造的類似性の両方を改善し、同時に、効率的、解釈可能、構造的に基盤付けられた脳のデコードのための新しい方向を導入した。
関連論文リスト
- Versatile Framework with Semantic and Structural guidance for Image Reconstruction from Brain Activity [17.625829377712492]
我々はMindDiffuserと呼ばれる2段階の画像再構成フレームワークを提案する。
ステージ1では、脳反応からデコードされたContrastive Language-Image Pretraining (CLIP)テキスト埋め込みが安定拡散に入力され、予備画像を生成する。
ステージ2では、復号された浅いCLIP視覚特徴を監視信号として使用し、ステージ1からバックプロパゲーションを介して特徴ベクトルを反復的に精製して構造情報を整列させる。
論文 参考訳(メタデータ) (2026-05-28T09:20:10Z) - Seeing the imagined: a latent functional alignment in visual imagery decoding from fMRI data [0.0]
本研究では,イメージライ-NSDベンチマークを用いて,現在最先端の認識デコーダを用いて,想像コンテンツを再構成する方法について検討する。
本稿では,画像誘発活動から事前学習したモデルの条件空間へマッピングする潜在機能アライメント手法を提案する。
一致した画像認識の監督を限定的に緩和するために,検索に基づく拡張戦略を導入する。
論文 参考訳(メタデータ) (2026-04-15T16:31:57Z) - SynMind: Reducing Semantic Hallucination in fMRI-Based Image Reconstruction [52.34513874272676]
既存の手法は、明示的な意味的アイデンティティよりも、絡み合った視覚的埋め込みに強く依存している、と我々は主張する。
我々はfMRI信号を、人間の視覚理解の階層的・構成的性質を反映したリッチで文レベルの意味記述に解析する。
そこで我々は,これらの明示的なセマンティックエンコーディングを視覚的プリエンプションと統合したフレームワークであるSynMindを提案する。
論文 参考訳(メタデータ) (2026-01-25T14:31:23Z) - On the Utility of Foundation Models for Fast MRI: Vision-Language-Guided Image Reconstruction [5.796028565806211]
本稿では,事前学習された視覚言語基盤モデルを用いた意味分布誘導型再構築フレームワークを提案する。
対照的な目的は、再構成された表現と対象の意味分布を一致させる。
膝と脳のデータセットの実験では、画像からのセマンティックな先行は微細な解剖学的構造を保ち、知覚の質が優れていることが示されている。
論文 参考訳(メタデータ) (2025-11-24T19:15:47Z) - Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。
MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
論文 参考訳(メタデータ) (2025-10-25T15:40:07Z) - "Principal Components" Enable A New Language of Images [79.45806370905775]
証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。
提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
論文 参考訳(メタデータ) (2025-03-11T17:59:41Z) - Brain-Streams: fMRI-to-Image Reconstruction with Multi-modal Guidance [3.74142789780782]
現代のLCDは、構造的かつ意味論的に妥当な画像生成のためのマルチモーダルガイダンスをいかに取り入れているかを示す。
Brain-StreamsはfMRI信号を脳の領域から適切な埋め込みにマッピングする。
我々は,実fMRIデータセットを用いて,Brain-Streamsの定量的および定性的に再構成能力を検証する。
論文 参考訳(メタデータ) (2024-09-18T16:19:57Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - NeuralDiffuser: Neuroscience-inspired Diffusion Guidance for fMRI Visual Reconstruction [25.987801733791986]
本稿では,主視覚的特徴指導を取り入れたNeuralDiffuserを提案し,勾配の形で詳細な手がかりを提供する。
拡散モデルにおけるボトムアッププロセスの拡張は、視覚刺激を再構成する際に意味的コヒーレンスと詳細忠実性の両方を達成する。
論文 参考訳(メタデータ) (2024-02-21T13:46:25Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - MindDiffuser: Controlled Image Reconstruction from Human Brain Activity
with Semantic and Structural Diffusion [7.597218661195779]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。
ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。
ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
論文 参考訳(メタデータ) (2023-08-08T13:28:34Z) - High-resolution Face Swapping via Latent Semantics Disentanglement [50.23624681222619]
本稿では,事前学習したGANモデルの事前知識を用いた,新しい高分解能幻覚顔交換法を提案する。
我々は、ジェネレータの進行的な性質を利用して、潜在意味論を明示的に解き放つ。
我々は,2時間制約を潜時空間と画像空間に課すことにより,映像面スワップに拡張する。
論文 参考訳(メタデータ) (2022-03-30T00:33:08Z) - Limited-angle tomographic reconstruction of dense layered objects by
dynamical machine learning [68.9515120904028]
強い散乱準透明物体の有限角トモグラフィーは困難で、非常に不適切な問題である。
このような問題の状況を改善することにより、アーティファクトの削減には、事前の定期化が必要である。
我々は,新しい分割畳み込みゲート再帰ユニット(SC-GRU)をビルディングブロックとして,リカレントニューラルネットワーク(RNN)アーキテクチャを考案した。
論文 参考訳(メタデータ) (2020-07-21T11:48:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。