論文の概要: AVID: A 5T fMRI Dataset for Benchmarking Auditory-induced Visual Mental Imagery Decoding
- arxiv url: http://arxiv.org/abs/2611.02593v1
- Date: Mon, 02 Nov 2026 06:17:53 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:16:23.902398
- Title: AVID: A 5T fMRI Dataset for Benchmarking Auditory-induced Visual Mental Imagery Decoding
- Title（参考訳）: AVID:聴覚誘発視覚画像復号のベンチマークのための5T fMRIデータセット
- Abstract要約: AVIDは、聴覚誘発VMIデコードのための、最初の訓練スケール5.0 Tesla機能的磁気共鳴イメージング(fMRI)リソースである。
AVIDは、9人の参加者から約67時間の高密度記録で構成されている。
我々は、ソースイメージの一貫性を意味的アライメントから切り離すための標準化された評価プロトコルを定式化する。
- 参考スコア（独自算出の注目度）: 10.547553849370145
- License:
- Abstract: Visual mental imagery (VMI) decoding uses brain activity to reconstruct internally generated visual scenes, providing a potential pathway for externalizing internal experiences and developing neuroprosthetic communication interfaces. However, progress is limited by the lack of dedicated, training-scale VMI datasets. Current VMI paradigms often rely on visual prompts or short-term memory images, introducing visual and mnemonic confounds that make it difficult to disentangle neural activity associated with endogenous image construction from signals driven by prior or concurrent visual input. Furthermore, existing VMI datasets offer limited descriptive control over individual visual attributes, making it difficult to systematically assess fine grained visual details. To address these gaps, we introduce AVID, the first dedicated training-scale 5.0 Tesla functional magnetic resonance imaging (fMRI) resource for auditory-induced VMI decoding. AVID comprises approximately 67 hours of dense recordings from nine participants. The dataset is structured into two complementary splits: a scene-level complex split using naturalistic Mandarin descriptions and a controlled simple split with explicitly specified visual attributes. We further formalize a standardized evaluation protocol that decouples source-image consistency from semantic alignment, allowing for a more nuanced assessment of imagery reconstruction. Baseline qualitative and quantitative results show that current reconstruction pipelines remain limited on AVID, although the most successful reconstructions preserve recognizable scene level semantics from spoken descriptions. By combining dedicated training-scale neural recordings and standardized evaluation resources, AVID provides both a data foundation for imagery-specific model development and a benchmark for evaluating VMI decoding with substantially reduced sensory contamination.
- Abstract（参考訳）: ビジュアル・メンタル・イメージ(VMI)デコーディングは、脳の活動を利用して内部で生成された視覚シーンを再構築し、内部体験を外部化し、神経補綴コミュニケーション・インタフェースを開発するための潜在的経路を提供する。
しかし、専門的なトレーニングスケールのVMIデータセットが欠如しているため、進捗は制限されている。
現在のVMIパラダイムは、しばしば視覚的なプロンプトや短期記憶のイメージに依存しており、前や同時の視覚入力によって駆動される信号から内在的なイメージ構築に伴う神経活動のアンタングルを困難にする視覚的および無調的なコンファウンドを導入している。
さらに、既存のVMIデータセットは個々の視覚属性に対する限定的な記述的制御を提供しており、きめ細かい視覚的詳細を体系的に評価することは困難である。
AVIDは、聴覚誘発VMIデコーディングのための、最初の専用のトレーニングスケール5.0 Tesla機能的磁気共鳴イメージング(fMRI)リソースである。
AVIDは、9人の参加者から約67時間の高密度記録で構成されている。
データセットは、自然主義的なマンダリン記述を用いたシーンレベルの複雑な分割と、明確に指定された視覚属性を持つ制御された単純な分割の2つの補完的な分割で構成されている。
さらに、ソースコードの一貫性をセマンティックアライメントから切り離し、画像再構成のより微妙な評価を可能にする標準化された評価プロトコルを定式化する。
ベースライン定性的かつ定量的な結果から、現在の再建パイプラインはAVID上では限定的であるが、最も成功した再構築は、音声による記述から認識可能なシーンレベルのセマンティクスを保存している。
専用トレーニングスケールのニューラル記録と標準化された評価リソースを組み合わせることで、AVIDは画像固有のモデル開発のためのデータ基盤と、感覚汚染を大幅に低減したVMIデコーディングを評価するベンチマークの両方を提供する。
関連論文リスト
- MRGen: Segmentation Data Engine for Underrepresented MRI Modalities [59.61465292965639]
稀ながら臨床的に重要な画像モダリティのための医用画像分割モデルの訓練は、注釈付きデータの不足により困難である。
本稿では,データ合成における生成モデルの利用について検討する。
本稿では,テキストプロンプトとセグメンテーションマスクを条件とした医用画像合成のためのデータエンジンMRGenを提案する。
論文 参考訳（メタデータ） (2024-12-04T16:34:22Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - MindTuner: Cross-Subject Visual Decoding with Visual Fingerprint and Semantic Correction [21.531569319105877]
クロスオブジェクトタスクにおける高品質な画像の再構成は、被験者間の個人差が深いため、難しい問題である。
MindTunerは1時間分のfMRIトレーニングデータを使用して高品質でリッチなセマンティック再構築を実現する。
論文 参考訳（メタデータ） (2024-04-19T05:12:04Z) - See Through Their Minds: Learning Transferable Neural Representation from Cross-Subject fMRI [32.40827290083577]
機能的磁気共鳴イメージング(fMRI)からの視覚内容の解読は、人間の視覚系を照らすのに役立つ。
従来のアプローチは主に、トレーニングサンプルサイズに敏感な、主題固有のモデルを採用していた。
本稿では,fMRIデータを統合表現にマッピングするための,サブジェクト固有の浅層アダプタを提案する。
トレーニング中,マルチモーダル脳復号における視覚的・テキスト的監督の両面を活用する。
論文 参考訳（メタデータ） (2024-03-11T01:18:49Z) - MindDiffuser: Controlled Image Reconstruction from Human Brain Activity
with Semantic and Structural Diffusion [7.597218661195779]
我々はMindDiffuserと呼ばれる2段階の画像再構成モデルを提案する。
ステージ1では、VQ-VAE潜在表現とfMRIからデコードされたCLIPテキスト埋め込みが安定拡散される。
ステージ2では、fMRIからデコードされたCLIP視覚特徴を監視情報として利用し、バックパゲーションによりステージ1でデコードされた2つの特徴ベクトルを継続的に調整し、構造情報を整列させる。
論文 参考訳（メタデータ） (2023-08-08T13:28:34Z) - Controllable Mind Visual Diffusion Model [58.83896307930354]
脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。
我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。
CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。
そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
論文 参考訳（メタデータ） (2023-05-17T11:36:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。