論文の概要: Perception Activator: An intuitive and portable framework for brain cognitive exploration

• arxiv url: http://arxiv.org/abs/2507.02311v1
• Date: Thu, 03 Jul 2025 04:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:15.672626
• Title: Perception Activator: An intuitive and portable framework for brain cognitive exploration
• Title（参考訳）: 知覚アクティベーター:脳の認知探索のための直感的でポータブルなフレームワーク
• Authors: Le Xu, Qi Zhang, Qixian Zhang, Hongyun Zhang, Duoqian Miao, Cairong Zhao,
• Abstract要約: 干渉条件としてfMRI表現を用いる実験フレームワークを開発した。 オブジェクト検出とインスタンス分割タスクにおける下流性能と中間的特徴の変化をfMRI情報の有無で比較した。 以上の結果から,fMRIには多目的セマンティック・キューが豊富に含まれていることが証明された。
• 参考スコア（独自算出の注目度）: 19.851643249367108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in brain-vision decoding have driven significant progress, reconstructing with high fidelity perceived visual stimuli from neural activity, e.g., functional magnetic resonance imaging (fMRI), in the human visual cortex. Most existing methods decode the brain signal using a two-level strategy, i.e., pixel-level and semantic-level. However, these methods rely heavily on low-level pixel alignment yet lack sufficient and fine-grained semantic alignment, resulting in obvious reconstruction distortions of multiple semantic objects. To better understand the brain's visual perception patterns and how current decoding models process semantic objects, we have developed an experimental framework that uses fMRI representations as intervention conditions. By injecting these representations into multi-scale image features via cross-attention, we compare both downstream performance and intermediate feature changes on object detection and instance segmentation tasks with and without fMRI information. Our results demonstrate that incorporating fMRI signals enhances the accuracy of downstream detection and segmentation, confirming that fMRI contains rich multi-object semantic cues and coarse spatial localization information-elements that current models have yet to fully exploit or integrate.
• Abstract（参考訳）: 脳ビジョンデコーディングの最近の進歩は、人間の視覚皮質における神経活動、例えば機能的磁気共鳴画像(fMRI)からの高忠実度視覚刺激で再構成し、大きな進歩をもたらした。 既存のほとんどの方法は2レベル戦略、すなわちピクセルレベルとセマンティックレベルを用いて脳信号をデコードする。 しかし、これらの手法は低レベルの画素アライメントに大きく依存するが、十分できめ細かなセマンティックアライメントが不足しているため、複数のセマンティックオブジェクトの明らかな再構成歪みが生じる。 脳の視覚知覚パターンと現在のデコードモデルがどのようにセマンティックオブジェクトを処理しているかをよりよく理解するために、fMRI表現を介入条件として使用する実験的なフレームワークを開発した。 これらの表現をクロスアテンションによるマルチスケール画像特徴に注入することにより、オブジェクト検出におけるダウンストリーム性能と中間的特徴の変化と、fMRI情報の有無によるインスタンス分割タスクの比較を行う。 以上の結果から,fMRI信号の付加は下流検出とセグメンテーションの精度を高め,fMRIが多目的セマンティックキューを含むことを確認した。

関連論文リスト

• Brain-Streams: fMRI-to-Image Reconstruction with Multi-modal Guidance [3.74142789780782]
  現代のLCDは、構造的かつ意味論的に妥当な画像生成のためのマルチモーダルガイダンスをいかに取り入れているかを示す。 Brain-StreamsはfMRI信号を脳の領域から適切な埋め込みにマッピングする。 我々は,実fMRIデータセットを用いて,Brain-Streamsの定量的および定性的に再構成能力を検証する。
  論文  参考訳（メタデータ） (2024-09-18T16:19:57Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
  機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。 従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。 本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。 トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
  論文  参考訳（メタデータ） (2024-03-11T01:18:49Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。