論文の概要: Brain decoding: toward real-time reconstruction of visual perception

• arxiv url: http://arxiv.org/abs/2310.19812v2
• Date: Fri, 8 Mar 2024 13:35:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 23:17:24.540347
• Title: Brain decoding: toward real-time reconstruction of visual perception
• Title（参考訳）: 脳デコード : 視覚知覚のリアルタイム再構築に向けて
• Authors: Yohann Benchetrit, Hubert Banville and Jean-R\'emi King
• Abstract要約: 過去5年間で、生成的および基礎的AIシステムの使用は、脳活動の復号化を大幅に改善した。 視覚知覚は、機能的磁気共鳴イメージング(fMRI)から顕著な忠実さでデコードできる。 本稿では、高時間分解能で脳活動を測定する神経イメージング装置である脳磁図(MEG)に基づく別のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 2.1689972803160726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the past five years, the use of generative and foundational AI systems has greatly improved the decoding of brain activity. Visual perception, in particular, can now be decoded from functional Magnetic Resonance Imaging (fMRI) with remarkable fidelity. This neuroimaging technique, however, suffers from a limited temporal resolution ($\approx$0.5 Hz) and thus fundamentally constrains its real-time usage. Here, we propose an alternative approach based on magnetoencephalography (MEG), a neuroimaging device capable of measuring brain activity with high temporal resolution ($\approx$5,000 Hz). For this, we develop an MEG decoding model trained with both contrastive and regression objectives and consisting of three modules: i) pretrained embeddings obtained from the image, ii) an MEG module trained end-to-end and iii) a pretrained image generator. Our results are threefold: Firstly, our MEG decoder shows a 7X improvement of image-retrieval over classic linear decoders. Second, late brain responses to images are best decoded with DINOv2, a recent foundational image model. Third, image retrievals and generations both suggest that high-level visual features can be decoded from MEG signals, although the same approach applied to 7T fMRI also recovers better low-level features. Overall, these results, while preliminary, provide an important step towards the decoding -- in real-time -- of the visual processes continuously unfolding within the human brain.
• Abstract（参考訳）: 過去5年間で、生成的および基礎的AIシステムの使用は、脳活動の復号化を大幅に改善した。 特に視覚知覚は、顕著な忠実さを持つ機能的磁気共鳴イメージング(fMRI)から復号することができる。 しかし、このニューロイメージング技術は時間分解能(約0.5hz)が限られており、基本的にはリアルタイム使用を制限している。 本稿では、高時間分解能(5,000Hz)で脳活動を計測できる脳波計測装置である脳磁図(MEG)に基づく別のアプローチを提案する。 そこで我々は,コントラスト目標と回帰目標,および3つのモジュールからなるmeg復号モデルを開発した。 一 画像から得られる予め訓練された埋め込み 二 エンドツーエンドの訓練を受けたMEGモジュール及び 三 予め訓練した画像生成装置 第一に、私たちのMEGデコーダは古典的線形デコーダよりも画像検索が7倍改善したことを示す。 第2に、画像に対する後期脳反応は、最近の基礎画像モデルであるDINOv2で最もよくデコードされる。 第3に、画像検索と世代はどちらも、高レベルの視覚的特徴をMEG信号からデコードできることを示唆しているが、同様に7T fMRIにも適用されたアプローチは、より低レベルの特徴を回復させる。 全体として、これらの結果は予備的ではあるが、人間の脳内で連続的に展開する視覚過程のデコード(リアルタイム)に向けて重要なステップを提供する。

関連論文リスト

• Towards Neural Foundation Models for Vision: Aligning EEG, MEG, and fMRI Representations for Decoding, Encoding, and Modality Conversion [0.11249583407496218]
  本稿では, コントラスト学習を活用することで, 脳活動のマルチモーダル表現に対して, 神経データと視覚刺激を協調させる基礎モデルを構築するための新しいアプローチを提案する。 脳波(EEG)、脳磁図(MEG)、fMRIデータを用いた。 われわれのフレームワークの能力は、ニューラルデータから視覚情報をデコードし、画像をニューラル表現にエンコードし、ニューラルモダリティ間の変換という3つの重要な実験によって実証される。
  論文  参考訳（メタデータ） (2024-11-14T12:27:27Z)
• Mask-Guided Attention U-Net for Enhanced Neonatal Brain Extraction and Image Preprocessing [0.9674145073701153]
  マスク誘導型アテンションニューラルネットワークMGA-Netについて紹介する。 他の構造から脳を抽出し、高品質な脳画像の再構築を目的としている。 今回提案したMGA-Netを,様々な臨床設定と新生児年齢群から得られた多様なデータセットで広範囲に検証した。
  論文  参考訳（メタデータ） (2024-06-25T16:48:18Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Contrast, Attend and Diffuse to Decode High-Resolution Images from Brain Activities [31.448924808940284]
  2相fMRI表現学習フレームワークを提案する。 第1フェーズでは、double-contrastive Mask Auto-encoderを提案してfMRI機能学習者を事前訓練し、識別表現を学習する。 第2フェーズでは、イメージオートエンコーダからのガイダンスで視覚的再構成に最も有用な神経活性化パターンに参加するように、特徴学習者に調整する。
  論文  参考訳（メタデータ） (2023-05-26T19:16:23Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• DeepBrainPrint: A Novel Contrastive Framework for Brain MRI Re-Identification [2.5855676778881334]
  我々はDeepBrainPrintというAIベースのフレームワークを提案し、同じ患者の脳MRIスキャンを検索する。 当社のフレームワークは,3つの主要なイノベーションを伴う,半自己指導型のコントラスト型ディープラーニングアプローチです。 DeepBrainPrintをアルツハイマー病脳画像イニシアチブ(ADNI)のT1強調脳MRIの大規模なデータセットでテストした。
  論文  参考訳（メタデータ） (2023-02-25T11:03:16Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。