論文の概要: MIRAGE: Robust multi-modal architectures translate fMRI-to-image models from vision to mental imagery

• arxiv url: http://arxiv.org/abs/2605.17198v1
• Date: Sat, 16 May 2026 23:53:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.731784
• Title: MIRAGE: Robust multi-modal architectures translate fMRI-to-image models from vision to mental imagery
• Title（参考訳）: MIRAGE:ロバストなマルチモーダルアーキテクチャはfMRI-to-imageモデルを視覚から精神イメージに翻訳する
• Abstract要約: MIRAGEは、視覚データセットをトレーニングし、脳の活動からメンタルイメージをクロスデコードするように設計された方法である。 我々は,デコーダが画像特徴を比較的少ない次元で使用する場合に,心的イメージ再構成が最適であることを示す。
• 参考スコア（独自算出の注目度）: 3.24465146296532
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To be useful for downstream applications, vision decoding models that are trained to reconstruct seen images from human brain activity must be able to generalize to internally generated visual representations, i.e., mental images. In an analysis of the recently released NSD-Imagery dataset, we demonstrated that while some modern vision decoders can perform quite well on mental image reconstruction, some fail, and that state-of-the-art (SOTA) performance on seen image reconstruction is no guarantee of SOTA performance on mental image reconstruction. Motivated by these findings, we developed MIRAGE, a method explicitly designed to train on vision datasets and cross-decode mental images from brain activity. MIRAGE employs a linear backbone and multi-modal text and image features as input to a diffusion model. Feature metrics and human raters establish MIRAGE as SOTA for mental image reconstruction on the NSD-Imagery benchmark. With ablation analysis we show that mental image reconstruction works best when decoders use image features with relatively few dimensions and include guidance from text-based and both high- and low-level image-based features. Our work indicates that--given the right architecture--existing large-scale datasets using external stimuli are viable training data for decoding mental images, and warrant optimism about the future success and utility of mental image reconstruction.
• Abstract（参考訳）: 下流のアプリケーションに役立てるためには、人間の脳活動から見えるイメージを再構築するために訓練された視覚復号モデルは、内部で生成された視覚的表現、すなわちメンタルイメージに一般化できなければならない。 最近リリースされたNSD-Imageryデータセットの分析において、現代の視覚デコーダは、精神画像再構成においてかなりよく機能するが、一部は失敗し、画像再構成における最先端(SOTA)のパフォーマンスは、精神画像再構成におけるSOTAパフォーマンスの保証ではないことを示した。 これらの知見に触発され,脳活動から視覚データセットをトレーニングし,メンタルイメージをクロスデコードする手法であるMIRAGEを開発した。 MIRAGEは線形バックボーンとマルチモーダルテキストと画像特徴を拡散モデルへの入力として採用している。 NSD-Imageryベンチマークにおいて、特徴量と人間のレーダは、精神画像再構成のためのSOTAとしてMIRAGEを確立する。 アブレーション解析により、デコーダが比較的少ない次元のイメージ特徴を使い、テキストベースおよび高レベル画像と低レベル画像の両方からのガイダンスを含む場合、心的イメージ再構成が最善であることを示す。 外部刺激を用いた大規模データセットは、心的イメージの復号化のための訓練データであり、心的イメージ再構成の今後の成功と有用性に関する楽観性を保証している。

関連論文リスト

• NSD-Imagery: A benchmark dataset for extending fMRI vision decoding methods to mental imagery [0.33654492025566546]
  NSD-Imageryは精神画像と組み合わせた人間のfMRI活動のベンチマークデータセットである。 心的画像における復号法の性能は、視覚再建における性能と大きく切り離されていることを示す。
  論文  参考訳（メタデータ） (2025-06-07T19:11:24Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• Mind-to-Image: Projecting Visual Mental Imagination of the Brain from fMRI [36.181302575642306]
  視覚的想像力の再構築は、潜在的に革命的なアプリケーションにおいて、より大きな課題をもたらす。 私たちは初めて、視覚画像に関するかなりのデータセット(約6hのスキャン)をコンパイルしました。 我々は、fMRI-to-imageモデルの修正版を訓練し、2つのイマジネーションのモードから画像の再構成が可能であることを実証する。
  論文  参考訳（メタデータ） (2024-04-08T12:46:39Z)
• Reconstructing the Mind's Eye: fMRI-to-Image with Contrastive Learning and Diffusion Priors [5.055354526753589]
  MindEyeは、脳の活動から観察された画像を検索して再構成するための、fMRI-to-imageアプローチである。 我々は,MindEyeが修復作業と検索作業の両方において最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-05-29T17:49:00Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Retrieval-Augmented Transformer for Image Captioning [51.79146669195357]
  我々は、kNNメモリを用いた画像キャプション手法を開発し、外部コーパスから知識を抽出して生成プロセスを支援する。 我々のアーキテクチャは、視覚的類似性に基づく知識検索と、識別可能なエンコーダと、トークンを予測するためにkNN拡張アテンション層を組み合わせる。 COCOデータセットで実施した実験結果は、明示的な外部メモリを利用することで、生成プロセスの助けとなり、キャプションの品質が向上することを示した。
  論文  参考訳（メタデータ） (2022-07-26T19:35:49Z)
• Towards Coding for Human and Machine Vision: A Scalable Image Coding Approach [104.02201472370801]
  圧縮モデルと生成モデルの両方を活用することにより,新しい画像符号化フレームワークを考案した。 高度な生成モデルを導入することで、コンパクトな特徴表現と参照画素から画像を再構成するフレキシブルネットワークを訓練する。 実験により、人間の視覚的品質と顔のランドマーク検出の両方において、我々の枠組みが優れていることが示された。
  論文  参考訳（メタデータ） (2020-01-09T10:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。