論文の概要: DreamCatcher: Revealing the Language of the Brain with fMRI using GPT Embedding

• arxiv url: http://arxiv.org/abs/2306.10082v1
• Date: Fri, 16 Jun 2023 07:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 00:23:55.519772
• Title: DreamCatcher: Revealing the Language of the Brain with fMRI using GPT Embedding
• Title（参考訳）: DreamCatcher: GPT埋め込みによるfMRIによる脳の言語発見
• Authors: Subhrasankar Chatterjee and Debasis Samanta
• Abstract要約: 本稿では、fMRIデータに基づいてキャプションを生成し、視覚知覚の洞察を得るfMRIキャプションを提案する。 DreamCatcherはRepresentation Space(RSE)とRevEmbedding Decoderで構成される。 fMRIベースのキャプションには、神経メカニズムの理解、ヒューマン・コンピュータインタラクション、学習とトレーニングプロセスの強化など、さまざまな応用がある。
• 参考スコア（独自算出の注目度）: 6.497816402045099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The human brain possesses remarkable abilities in visual processing, including image recognition and scene summarization. Efforts have been made to understand the cognitive capacities of the visual brain, but a comprehensive understanding of the underlying mechanisms still needs to be discovered. Advancements in brain decoding techniques have led to sophisticated approaches like fMRI-to-Image reconstruction, which has implications for cognitive neuroscience and medical imaging. However, challenges persist in fMRI-to-image reconstruction, such as incorporating global context and contextual information. In this article, we propose fMRI captioning, where captions are generated based on fMRI data to gain insight into the neural correlates of visual perception. This research presents DreamCatcher, a novel framework for fMRI captioning. DreamCatcher consists of the Representation Space Encoder (RSE) and the RevEmbedding Decoder, which transform fMRI vectors into a latent space and generate captions, respectively. We evaluated the framework through visualization, dataset training, and testing on subjects, demonstrating strong performance. fMRI-based captioning has diverse applications, including understanding neural mechanisms, Human-Computer Interaction, and enhancing learning and training processes.
• Abstract（参考訳）: 人間の脳は、画像認識やシーン要約を含む視覚処理において顕著な能力を持っている。 視覚脳の認知能力を理解するための努力は行われてきたが、基礎となるメカニズムの包括的理解はいまだに発見される必要がある。 脳のデコード技術の進歩は、認知神経科学や医療画像に影響を及ぼすfMRI-to-Image再構成のような高度なアプローチにつながっている。 しかし、グローバルコンテキストやコンテキスト情報を組み込んだfMRI画像再構成では、課題が続いている。 本稿では、fMRIデータに基づいてキャプションを生成するfMRIキャプションを提案する。 本研究はfmriキャプションのための新しいフレームワークdreamcatcherを提案する。 ドリームキャッチャーは表現空間エンコーダ(rse)と再生復号器(reembedding decoder)から構成されており、それぞれfmriベクトルを潜在空間に変換し、キャプションを生成する。 このフレームワークを可視化,データセットのトレーニング,被験者に対するテストを通じて評価し,高いパフォーマンスを示した。 fMRIベースのキャプションには、神経メカニズムの理解、ヒューマンコンピュータインタラクション、学習とトレーニングプロセスの強化など、さまざまな応用がある。

関連論文リスト

• BrainChat: Decoding Semantic Information from fMRI using Vision-language Pretrained Models [0.0]
  本稿では,脳活動からのセマンティック情報デコーディングタスクの高速化を目的とした生成フレームワークであるBrainChatを提案する。 BrainChatはfMRI質問応答とfMRIキャプションを実装している。 BrainChatは非常にフレキシブルで、画像データなしで高いパフォーマンスを実現できます。
  論文  参考訳（メタデータ） (2024-06-10T12:06:15Z)
• MindFormer: Semantic Alignment of Multi-Subject fMRI for Brain Decoding [50.55024115943266]
  本稿では,MindFormer を用いたマルチオブジェクト fMRI 信号のセマンティックアライメント手法を提案する。 このモデルは、fMRIから画像生成のための安定拡散モデルや、fMRIからテキスト生成のための大規模言語モデル(LLM)の条件付けに使用できるfMRI条件付き特徴ベクトルを生成するように設計されている。 実験の結果,MindFormerは意味的に一貫した画像とテキストを異なる主題にわたって生成することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T00:36:25Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Brainformer: Mimic Human Visual Brain Functions to Machine Vision Models via fMRI [12.203617776046169]
  本稿では,人間の知覚システムにおけるfMRIパターンを解析するためのBrainformerという新しいフレームワークを紹介する。 この研究は、人間の知覚からニューラルネットワークに知識を移すための先進的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-11-30T22:39:23Z)
• fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for Multi-Subject Brain Activity Decoding [54.17776744076334]
  本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。 我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。 コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
  論文  参考訳（メタデータ） (2023-11-01T07:24:22Z)
• UniBrain: Unify Image Reconstruction and Captioning All in One Diffusion Model from Human Brain Activity [2.666777614876322]
  人間の脳活動からの1つの拡散モデルにおける画像再構成とキャプションを統一するUniBrainを提案する。 我々はfMRIボクセルをテキストに変換し、低レベル情報に潜入して現実的なキャプションや画像を生成する。 UniBrainは、画像再構成の点で現在の手法を質的にも量的にも優れており、Natural Scenesデータセットで初めて画像キャプションの結果を報告している。
  論文  参考訳（メタデータ） (2023-08-14T19:49:29Z)
• Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
  本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。 提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。 生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-19T09:57:19Z)
• Controllable Mind Visual Diffusion Model [58.83896307930354]
  脳信号の可視化は、人間の視覚システムとコンピュータビジョンモデルの間の重要なインターフェースとして機能する活発な研究領域として登場した。 我々は、制御可能なマインドビジュアルモデル拡散(CMVDM)と呼ばれる新しいアプローチを提案する。 CMVDMは属性アライメントとアシスタントネットワークを用いてfMRIデータから意味情報とシルエット情報を抽出する。 そして、制御モデルを利用して抽出した情報を画像合成に活用し、セマンティクスやシルエットの観点から視覚刺激によく似た画像を生成する。
  論文  参考訳（メタデータ） (2023-05-17T11:36:40Z)
• Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
  我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。 本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
  論文  参考訳（メタデータ） (2023-03-26T14:14:58Z)
• BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP for Generic Natural Visual Stimulus Decoding [51.911473457195555]
  BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。 脳の活動、画像、およびテキストの間のモダリティギャップを埋める。 BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
  論文  参考訳（メタデータ） (2023-02-25T03:28:54Z)
• Mind Reader: Reconstructing complex images from brain activities [16.78619734818198]
  我々はfMRI(機能的磁気共鳴画像)信号から複雑な画像刺激を再構成することに集中する。 単一の物体や単純な形状で画像を再構成する従来の研究とは異なり、本研究は意味論に富んだイメージ刺激を再構成することを目的としている。 脳の信号を直接画像に翻訳するよりも、追加のテキストモダリティを組み込むことは、再建問題にとって有益である。
  論文  参考訳（メタデータ） (2022-09-30T06:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。