論文の概要: Looking through the mind's eye via multimodal encoder-decoder networks

• arxiv url: http://arxiv.org/abs/2410.00047v1
• Date: Fri, 27 Sep 2024 20:48:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 15:19:28.279685
• Title: Looking through the mind's eye via multimodal encoder-decoder networks
• Title（参考訳）: マルチモーダルエンコーダデコーダネットワークによる心の視線観察
• Authors: Arman Afrasiyabi, Erica Busch, Rahul Singh, Dhananjay Bhaskar, Laurent Caplette, Nicholas Turk-Browne, Smita Krishnaswamy,
• Abstract要約: 本研究では,fMRIによる被験者の心像の復号化について検討する。 被験者が視聴した映像と視覚画像から得られたfMRI信号のマッピングを作成する。 我々は5つの被験者のデータからなる既存のfMRIデータセットを強化し、我々のチームによって収集された3つの被験者の録音を含むようにした。
• 参考スコア（独自算出の注目度）: 7.949204393111349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we explore the decoding of mental imagery from subjects using their fMRI measurements. In order to achieve this decoding, we first created a mapping between a subject's fMRI signals elicited by the videos the subjects watched. This mapping associates the high dimensional fMRI activation states with visual imagery. Next, we prompted the subjects textually, primarily with emotion labels which had no direct reference to visual objects. Then to decode visual imagery that may have been in a person's mind's eye, we align a latent representation of these fMRI measurements with a corresponding video-fMRI based on textual labels given to the videos themselves. This alignment has the effect of overlapping the video fMRI embedding with the text-prompted fMRI embedding, thus allowing us to use our fMRI-to-video mapping to decode. Additionally, we enhance an existing fMRI dataset, initially consisting of data from five subjects, by including recordings from three more subjects gathered by our team. We demonstrate the efficacy of our model on this augmented dataset both in accurately creating a mapping, as well as in plausibly decoding mental imagery.
• Abstract（参考訳）: 本研究では,fMRIを用いた被験者の心像の復号化について検討する。 この復号化を実現するために、まず、被験者が視聴したビデオによって引き起こされる被写体のfMRI信号のマッピングを作成しました。 このマッピングは、高次元fMRIアクティベーション状態と視覚画像とを関連付ける。 次に,視覚的対象に直接言及しない感情ラベルを主眼として,テキストで被験者に促した。 次に、人の心の中にあったかもしれない視覚画像をデコードするために、ビデオ自体に与えられたテキストラベルに基づいて、対応するビデオfMRIと、これらのfMRI測定の潜在表現を一致させる。 このアライメントは、動画 fMRI の埋め込みとテキストプロップされた fMRI の埋め込みを重畳することにより、fMRI-to- Video マッピングをデコードするために使用することができる。 さらに,5つの被験者のデータからなる既存のfMRIデータセットを,我々のチームによって収集された3つの被験者の録音を含めることで拡張する。 我々は、この拡張データセットにおけるモデルの有効性を、マッピングを正確に作成するだけでなく、精神イメージを確実に復号化するためにも示す。

関連論文リスト

• fMRI-3D: A Comprehensive Dataset for Enhancing fMRI-based 3D Reconstruction [50.534007259536715]
  我々は15人の参加者のデータを含むfMRI-3Dデータセットを提示し、合計4768個の3Dオブジェクトを展示する。 我々は,fMRI信号から3次元視覚情報を復号化するための新しいフレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2024-09-17T16:13:59Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MinD-3D: Reconstruct High-quality 3D objects in Human Brain [50.534007259536715]
  Recon3DMindは、fMRI(Functional Magnetic Resonance Imaging)信号から3次元視覚を再構成するための革新的なタスクである。 このデータセットは14人の参加者のデータを含み、3Dオブジェクトの360度ビデオが特徴である。 我々は,脳の3次元視覚情報をfMRI信号から復号化するための,新規で効果的な3段階フレームワークMinD-3Dを提案する。
  論文  参考訳（メタデータ） (2023-12-12T18:21:36Z)
• DreamCatcher: Revealing the Language of the Brain with fMRI using GPT Embedding [6.497816402045099]
  本稿では、fMRIデータに基づいてキャプションを生成し、視覚知覚の洞察を得るfMRIキャプションを提案する。 DreamCatcherはRepresentation Space(RSE)とRevEmbedding Decoderで構成される。 fMRIベースのキャプションには、神経メカニズムの理解、ヒューマン・コンピュータインタラクション、学習とトレーニングプロセスの強化など、さまざまな応用がある。
  論文  参考訳（メタデータ） (2023-06-16T07:55:20Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Video4MRI: An Empirical Study on Brain Magnetic Resonance Image Analytics with CNN-based Video Classification Frameworks [60.42012344842292]
  3次元CNNモデルが磁気共鳴画像(MRI)解析の分野を支配している。 本稿では,アルツハイマー病とパーキンソン病の認識の4つのデータセットを実験に利用した。 効率の面では、ビデオフレームワークは3D-CNNモデルよりも5%から11%、トレーニング可能なパラメータは50%から66%少ない。
  論文  参考訳（メタデータ） (2023-02-24T15:26:31Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)
• Facial Image Reconstruction from Functional Magnetic Resonance Imaging via GAN Inversion with Improved Attribute Consistency [5.705640492618758]
  我々はfMRIデータから顔画像を再構成する新しい枠組みを提案する。 提案手法は,(1)fMRIデータから明瞭な顔画像の再構成,(2)意味的特徴の一貫性の維持という2つの目標を達成する。
  論文  参考訳（メタデータ） (2022-07-03T11:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。