論文の概要: Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer

• arxiv url: http://arxiv.org/abs/2510.25976v1
• Date: Wed, 29 Oct 2025 21:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.578484
• Title: Brain-IT: Image Reconstruction from fMRI via Brain-Interaction Transformer
• Title（参考訳）: 脳-IT:脳-相互作用変換器によるfMRIからの画像再構成
• Authors: Roman Beliy, Amit Zalcher, Jonathan Kogman, Navve Wasserman, Michal Irani,
• Abstract要約: ブレインIT(Brain-IT)は、fMRI脳波記録からの画像再構成に脳に触発されたアプローチである。 すべてのモデルコンポーネントは、すべてのクラスタとサブジェクトで共有され、限られた量のデータで効率的なトレーニングを可能にします。 新しい被験者からの1時間のfMRIデータだけで、全40時間記録で訓練された現在の方法に匹敵する結果が得られる。
• 参考スコア（独自算出の注目度）: 6.890296061697977
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reconstructing images seen by people from their fMRI brain recordings provides a non-invasive window into the human brain. Despite recent progress enabled by diffusion models, current methods often lack faithfulness to the actual seen images. We present "Brain-IT", a brain-inspired approach that addresses this challenge through a Brain Interaction Transformer (BIT), allowing effective interactions between clusters of functionally-similar brain-voxels. These functional-clusters are shared by all subjects, serving as building blocks for integrating information both within and across brains. All model components are shared by all clusters & subjects, allowing efficient training with a limited amount of data. To guide the image reconstruction, BIT predicts two complementary localized patch-level image features: (i)high-level semantic features which steer the diffusion model toward the correct semantic content of the image; and (ii)low-level structural features which help to initialize the diffusion process with the correct coarse layout of the image. BIT's design enables direct flow of information from brain-voxel clusters to localized image features. Through these principles, our method achieves image reconstructions from fMRI that faithfully reconstruct the seen images, and surpass current SotA approaches both visually and by standard objective metrics. Moreover, with only 1-hour of fMRI data from a new subject, we achieve results comparable to current methods trained on full 40-hour recordings.
• Abstract（参考訳）: fMRIの脳波記録から見る画像の再構成は、人間の脳に非侵襲的な窓を与える。 拡散モデルによる最近の進歩にもかかわらず、現在の手法は実際の画像に対する忠実さを欠いていることが多い。 脳の相互作用変換器(Brain Interaction Transformer:BIT)によって、機能的に類似した脳のボクセルのクラスタ間の効果的な相互作用を可能にする脳にインスパイアされたアプローチである"Brain-IT"を提案する。 これらの機能クラスターはすべての被験者によって共有され、脳内と脳内の両方で情報を統合するためのビルディングブロックとして機能する。 すべてのモデルコンポーネントは、すべてのクラスタとサブジェクトで共有され、限られた量のデータで効率的なトレーニングを可能にします。 画像再構成を導くため、BITは2つの補完的な局所化パッチレベルの画像特徴を予測する。 一 画像の正しい意味内容に向けて拡散モデルを操る高レベルの意味的特徴、及び (II)画像の粗いレイアウトで拡散過程の初期化を支援する低レベルの構造的特徴。 BITの設計により、ブレインボクセルクラスタからローカライズされた画像特徴への情報の直接フローが可能になる。 これらの原理により,本手法は画像の忠実な再構成を行うfMRIからの画像再構成を実現し,現在のSotAアプローチを視覚的にも標準的客観的指標によっても上回っている。 さらに,新しい被験者からの1時間fMRIデータのみを用いて,40時間全記録の訓練方法に匹敵する結果が得られた。

関連論文リスト

• Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
  我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。 MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
  論文  参考訳（メタデータ） (2025-10-25T15:40:07Z)
• A Modality-agnostic Multi-task Foundation Model for Human Brain Imaging [12.710492824928338]
  我々は、人間の脳イメージングのための、モダリティに依存しないマルチタスク視覚基盤モデルBrainFMを紹介する。 BrainFMは取得した画像の外観に耐性がある。 5つの基本的な脳イメージングタスクに直接適用することができる。
  論文  参考訳（メタデータ） (2025-08-30T16:15:32Z)
• Brain-Streams: fMRI-to-Image Reconstruction with Multi-modal Guidance [3.74142789780782]
  現代のLCDは、構造的かつ意味論的に妥当な画像生成のためのマルチモーダルガイダンスをいかに取り入れているかを示す。 Brain-StreamsはfMRI信号を脳の領域から適切な埋め込みにマッピングする。 我々は,実fMRIデータセットを用いて,Brain-Streamsの定量的および定性的に再構成能力を検証する。
  論文  参考訳（メタデータ） (2024-09-18T16:19:57Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity [2.666777614876322]
  人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。 我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。 UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
  論文  参考訳（メタデータ） (2023-08-14T19:49:29Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Semantic Brain Decoding: from fMRI to conceptually similar image reconstruction of visual stimuli [0.29005223064604074]
  本稿では,意味的・文脈的類似性にも依存する脳復号法を提案する。 我々は、自然視のfMRIデータセットを使用し、人間の視覚におけるボトムアップとトップダウンの両方のプロセスの存在にインスパイアされたディープラーニングデコードパイプラインを作成します。 視覚刺激の再現は, それまでの文献において, 本来の内容とセマンティックレベルで非常によく一致し, 芸術の状態を超越している。
  論文  参考訳（メタデータ） (2022-12-13T16:54:08Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。