論文の概要: Neuro-Vision to Language: Enhancing Visual Reconstruction and Language Interaction through Brain Recordings
- arxiv url: http://arxiv.org/abs/2404.19438v3
- Date: Wed, 22 May 2024 17:21:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 05:20:55.766601
- Title: Neuro-Vision to Language: Enhancing Visual Reconstruction and Language Interaction through Brain Recordings
- Title（参考訳）: 言語へのニューロビジョン:脳記録による視覚再構成と言語相互作用の強化
- Authors: Guobin Shen, Dongcheng Zhao, Xiang He, Linghao Feng, Yiting Dong, Jihang Wang, Qian Zhang, Yi Zeng,
- Abstract要約: 非侵襲的な脳記録の復号化は、人間の認知の理解を深める鍵となる。
本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。
マルチモーダル大モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを改良した。
- 参考スコア（独自算出の注目度）: 8.63068449082585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decoding non-invasive brain recordings is pivotal for advancing our understanding of human cognition but faces challenges due to individual differences and complex neural signal representations. Traditional methods often require customized models and extensive trials, lacking interpretability in visual reconstruction tasks. Our framework integrates 3D brain structures with visual semantics using a Vision Transformer 3D. This unified feature extractor efficiently aligns fMRI features with multiple levels of visual embeddings, eliminating the need for subject-specific models and allowing extraction from single-trial data. The extractor consolidates multi-level visual features into one network, simplifying integration with Large Language Models (LLMs). Additionally, we have enhanced the fMRI dataset with diverse fMRI-image-related textual data to support multimodal large model development. Integrating with LLMs enhances decoding capabilities, enabling tasks such as brain captioning, complex reasoning, concept localization, and visual reconstruction. Our approach demonstrates superior performance across these tasks, precisely identifying language-based concepts within brain signals, enhancing interpretability, and providing deeper insights into neural processes. These advances significantly broaden the applicability of non-invasive brain decoding in neuroscience and human-computer interaction, setting the stage for advanced brain-computer interfaces and cognitive models.
- Abstract（参考訳）: 非侵襲的な脳記録の復号は、人間の認知の理解を促進する上で重要であるが、個人差や複雑な神経信号の表現による課題に直面している。
伝統的な手法は、しばしばカスタマイズされたモデルと広範囲な試行を必要とし、視覚的再構成タスクの解釈性に欠ける。
本研究では,視覚変換器を用いた3次元脳構造と視覚的意味論を統合した。
この統合された特徴抽出器は、fMRI機能を複数のレベルの視覚的埋め込みと効率的に整合させ、被検体固有のモデルの必要性を排除し、単検体データからの抽出を可能にする。
抽出器は複数レベルの視覚的特徴を1つのネットワークに統合し、Large Language Models (LLMs)との統合を簡素化する。
さらに,マルチモーダル大規模モデル開発を支援するために,fMRI画像関連テキストデータを用いたfMRIデータセットを拡張した。
LLMとの統合はデコード機能を強化し、脳のキャプション、複雑な推論、概念のローカライゼーション、視覚的再構成といったタスクを可能にする。
提案手法は,脳信号内の言語に基づく概念を正確に同定し,解釈可能性を高め,ニューラルプロセスに対する深い洞察を提供する。
これらの進歩は、神経科学と人間とコンピュータの相互作用における非侵襲的な脳デコーディングの適用性を著しく拡大し、先進的な脳とコンピュータのインターフェースと認知モデルのためのステージを設定した。
関連論文リスト
- BrainChat: Decoding Semantic Information from fMRI using Vision-language Pretrained Models [0.0]
本稿では,脳活動からのセマンティック情報デコーディングタスクの高速化を目的とした生成フレームワークであるBrainChatを提案する。
BrainChatはfMRI質問応答とfMRIキャプションを実装している。
BrainChatは非常にフレキシブルで、画像データなしで高いパフォーマンスを実現できます。
論文 参考訳（メタデータ） (2024-06-10T12:06:15Z) - MindSemantix: Deciphering Brain Visual Experiences with a Brain-Language Model [45.18716166499859]
fMRIで捉えた脳の活動を通して人間の視覚体験を解読することは、魅力的で最先端の課題である。
我々は、LLMが視覚的に誘発される脳活動のセマンティックな内容を理解することができる新しいマルチモーダルフレームワークであるMindSemantixを紹介した。
MindSemantixは、脳の活動から派生した視覚情報と意味情報に深く根ざした高品質なキャプションを生成する。
論文 参考訳（メタデータ） (2024-05-29T06:55:03Z) - MindFormer: A Transformer Architecture for Multi-Subject Brain Decoding via fMRI [50.55024115943266]
我々は、fMRI条件の特徴ベクトルを生成するためにMindFormerと呼ばれる新しいトランスフォーマーアーキテクチャを導入する。
MindFormerは,1)fMRI信号から意味論的に意味のある特徴を抽出するIP-Adapterに基づく新しいトレーニング戦略,2)fMRI信号の個人差を効果的に捉える主観的トークンと線形層である。
論文 参考訳（メタデータ） (2024-05-28T00:36:25Z) - Neural 3D decoding for human vision diagnosis [76.41771117405973]
われわれは、AIが2D視覚から視覚的に可視で機能的により包括的な脳信号からデコードされた3D視覚へと進化することで、現在の最先端技術を超えることができることを示す。
本研究では、2D画像で提示された被験者のfMRIデータを入力として、対応する3Dオブジェクト視覚を出力する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
論文 参考訳（メタデータ） (2024-05-24T06:06:11Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳（メタデータ） (2024-04-11T15:46:42Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳（メタデータ） (2023-11-01T07:24:22Z) - Decoding Realistic Images from Brain Activity with Contrastive
Self-supervision and Latent Diffusion [29.335943994256052]
ヒトの脳活動から視覚刺激を再構築することは、脳の視覚系を理解する上で有望な機会となる。
機能的磁気共鳴イメージング(fMRI)記録から現実的な画像をデコードする2相フレームワークContrast and Diffuse(CnD)を提案する。
論文 参考訳（メタデータ） (2023-09-30T09:15:22Z) - Brain Captioning: Decoding human brain activity into images and text [1.5486926490986461]
本稿では,脳活動を意味のある画像やキャプションにデコードする革新的な手法を提案する。
提案手法は,最先端画像キャプションモデルを活用し,ユニークな画像再構成パイプラインを組み込んだものである。
生成したキャプションと画像の両方の定量的指標を用いて,本手法の評価を行った。
論文 参考訳（メタデータ） (2023-05-19T09:57:19Z) - Joint fMRI Decoding and Encoding with Latent Embedding Alignment [77.66508125297754]
我々はfMRIデコーディングと符号化の両方に対処する統合フレームワークを導入する。
本モデルでは、fMRI信号から視覚刺激を同時に回復し、統合された枠組み内の画像から脳活動を予測する。
論文 参考訳（メタデータ） (2023-03-26T14:14:58Z) - BrainCLIP: Bridging Brain and Visual-Linguistic Representation Via CLIP
for Generic Natural Visual Stimulus Decoding [51.911473457195555]
BrainCLIPはタスクに依存しないfMRIベースの脳復号モデルである。
脳の活動、画像、およびテキストの間のモダリティギャップを埋める。
BrainCLIPは、高い意味的忠実度で視覚刺激を再構築することができる。
論文 参考訳（メタデータ） (2023-02-25T03:28:54Z) - Decoding Visual Neural Representations by Multimodal Learning of
Brain-Visual-Linguistic Features [9.783560855840602]
本稿では,脳-視覚-言語的特徴の多モーダル学習を用いたBraVLと呼ばれる汎用的ニューラルデコーディング手法を提案する。
マルチモーダル深部生成モデルを用いて,脳,視覚,言語的特徴の関係をモデル化することに注力する。
特に、BraVLモデルは、様々な半教師付きシナリオの下でトレーニングでき、余分なカテゴリから得られる視覚的特徴とテキスト的特徴を組み込むことができる。
論文 参考訳（メタデータ） (2022-10-13T05:49:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。