論文の概要: BrainBind: Bridging Synchronized EEG and fMRI through Long-Form Naturalistic Video Representations
- arxiv url: http://arxiv.org/abs/2611.05581v1
- Date: Tue, 03 Nov 2026 20:11:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.839529
- Title: BrainBind: Bridging Synchronized EEG and fMRI through Long-Form Naturalistic Video Representations
- Title(参考訳): BrainBind: 長時間の自然なビデオ表現による同期脳波とfMRIのブリッジ
- Abstract要約: 現実世界の視覚はダイナミックでシーンリッチであり、脳波とfMRIは相補的な時間的・空間的スケールでそれを解決している。
脳波とfMRIは、同じ長期自然視において記録される。
我々は、同期脳波とfMRIを凍結した長ビデオ埋め込み空間にマッピングするBrainBindを提案する。
- 参考スコア(独自算出の注目度): 9.470091099974391
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world vision is dynamic and scene-rich, while EEG and fMRI resolve it at complementary temporal and spatial scales. Most neural decoding systems, however, align one modality in isolation and mostly against static images or short clips. We study the synchronized case: EEG and fMRI are recorded during the same long-form naturalistic viewing, giving a shared stimulus but also recurring narrative context and many semantically similar candidates. We present BrainBind, a framework that maps synchronized EEG and fMRI into frozen long-form video embedding spaces and treats those spaces as common visual-semantic references, not literal neural codes. On CineBrain, a five-seed Recall@K 2 x 4 matrix across two video anchors and four system configurations shows distinct retrieval profiles. With Omni, fMRI organizes the full candidate list most strongly (MRR = 23.82, nDCG@10 = 25.31), while Joint-Dual gives the highest mean label-aware R@1 (13.52%) with a distinct rank-wide profile. The complementary episode-disjoint evaluation quantifies the contribution of repeated stimulus identity and narrative context to the random split. Across these experiments, proxy choice and system configuration produce distinct top-rank and rank-wide retrieval profiles within the present synchronized dataset. The code is available at https://github.com/Forainest789/Brainbind.
- Abstract(参考訳): 現実世界の視覚はダイナミックでシーンリッチであり、脳波とfMRIは相補的な時間的・空間的スケールでそれを解決している。
しかし、ほとんどのニューラルデコーディングシステムは、1つのモダリティを分離し、主に静的画像やショートクリップに対して調整する。
脳波とfMRIは、同じ長期の自然主義的な観察中に記録され、共有刺激を与えるだけでなく、反復的な物語の文脈や多くの意味論的類似した候補も与える。
我々は、同期された脳波とfMRIを凍結した長めのビデオ埋め込み空間にマッピングし、それらの空間をリテラルニューラルコードではなく、共通の視覚的セマンティック参照として扱うBrainBindを提案する。
CineBrainでは、2つのビデオアンカーと4つのシステム構成にまたがる5列のRecall@K 2 x 4行列が、異なる検索プロファイルを示している。
Omniでは、fMRIは最も強い候補リスト(MRR = 23.82, nDCG@10 = 25.31)を整理し、Joint-DualはランクワイドプロファイルでR@1 (13.52%) の平均的なラベルを認識できる。
相補的エピソード/相補的評価は、繰り返し刺激のアイデンティティと物語のコンテキストがランダムスプリットに寄与することを定量化する。
これらの実験全体で、プロキシの選択とシステム構成は、現在の同期データセット内で、異なるトップランクとランクワイドの検索プロファイルを生成する。
コードはhttps://github.com/Forainest789/Brainbindで入手できる。
関連論文リスト
- Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment [21.737535005860266]
NOEMAは、fMRI計測の窓をマルチモーダル刺激埋め込みと整合させる時間畳み込みデコーダである。
2つの自然主義的な音声データセットでは、NOEMAはトップ10内の2000の候補の正しいセグメントを42%以上の持たないクエリで検索する。
論文 参考訳(メタデータ) (2026-10-15T15:17:15Z) - Replaying the Movie in Your Mind Decoding Dynamic Visual Perception and Recall from EEG [29.708063553527158]
我々は、自然主義的なビデオ視聴と即時的な視覚的リコールを組み合わせたEEGベンチマークであるPAIRを紹介する。
階層型セマンティック分類における複数の復号モデルを,粒度と粗度の両方でベンチマークする。
対象物内検証の結果は、複数のモデル-タスクの組み合わせに対して数値的に類似した性能を示す。
論文 参考訳(メタデータ) (2026-10-09T07:15:07Z) - UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。
textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
論文 参考訳(メタデータ) (2026-08-11T12:01:59Z) - MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding [6.746244420038093]
MIRAGEは脳全体のfMRI応答を自然な聴覚刺激に予測するための脳符号化フレームワークである。
その結果、ネイティブなマルチモーダルな特徴は、独立なユニモーダルな特徴のポストホックアグリゲーションよりも一貫して優れていた。
論文 参考訳(メタデータ) (2026-05-28T12:30:51Z) - A Multimodal Seq2Seq Transformer for Predicting Brain Responses to Naturalistic Stimuli [0.0]
Algonauts 2025 Challengeは、自然主義的なマルチモーダル映画に対する全脳のfMRI反応を予測するエンコーディングモデルを開発するようコミュニティに呼びかけた。
本稿では,視覚,聴覚,言語入力からfMRI活動を自動的に予測するシーケンス・ツー・シーケンス・トランスフォーマを提案する。
論文 参考訳(メタデータ) (2025-07-24T05:29:37Z) - DecoFuse: Decomposing and Fusing the "What", "Where", and "How" for Brain-Inspired fMRI-to-Video Decoding [82.91021399231184]
既存のfMRI-to-video法は、しばしば空間情報や動き情報を見下ろしながら意味的内容に焦点を当てる。
そこで我々は,fMRI信号から映像をデコードするための,脳にインスパイアされた新しいフレームワークであるDecoFuseを提案する。
まず、ビデオはセマンティック、空間、動きの3つのコンポーネントに分解し、次に各コンポーネントを別々にデコードしてから、ビデオを再構成する。
論文 参考訳(メタデータ) (2025-04-01T05:28:37Z) - MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。
このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。
実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳(メタデータ) (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳(メタデータ) (2023-02-25T03:28:54Z) - Dense Interaction Learning for Video-based Person Re-identification [75.03200492219003]
ビデオベースの人物再ID問題に取り組むために,Dense Interaction Learning (DenseIL) というハイブリッドフレームワークを提案する。
DenseILにはCNNエンコーダとDense Interaction (DI)デコーダが含まれている。
当社の実験は、複数の標準ビデオベースの再IDデータセットにおけるすべての最先端の手法を一貫して大幅に上回ります。
論文 参考訳(メタデータ) (2021-03-16T12:22:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。